llm-inference

Framework inference mã nguồn mở của Google để deploy LLM trên edge devices, hỗ trợ đa nền tảng, tool use, vision và audio.

Engine inference C99 thử nghiệm chạy mô hình Kimi K3 2,78 nghìn tỷ tham số trên CPU bằng cách stream trọng số từ bộ nhớ lưu trữ.

Engine C stream expert weight từ NVMe để chạy mô hình MoE lớn hơn RAM, hiện tập trung vào Kimi K3 và API tương thích OpenAI.