mixture-of-experts

Engine inference C99 thử nghiệm chạy mô hình Kimi K3 2,78 nghìn tỷ tham số trên CPU bằng cách stream trọng số từ bộ nhớ lưu trữ.

Engine C stream expert weight từ NVMe để chạy mô hình MoE lớn hơn RAM, hiện tập trung vào Kimi K3 và API tương thích OpenAI.