🧩 Framework & Thư viện•Mã nguồn mở•Đang hoạt động

LiteRT-LM

Framework inference mã nguồn mở của Google để deploy LLM trên edge devices, hỗ trợ đa nền tảng, tool use, vision và audio.

#litert-lm
Danh mục
🧩 Framework & Thư viện
Giá
Mã nguồn mở
GitHub Stars
⭐ 6,892
Ngôn ngữ
C++
License
Apache-2.0
Ngày thêm
2026-04-07
Tóm tắt từ README GitHub
LiteRT-LM LiteRT-LM is Google's production-ready orchestration layer to run LLMs with LiteRT, engineered for high-performance , cross-platform execution. 🔗 Product Website 💬✨ Chat Demo 🔎✨ Embedding Demo 🔥 What's New: v0.19.0 - 🎯 Accelerated Logit Masking : Enables faster constrained decoding on GPUs, with full support for MTP-enabled decoding. - 🌐 Web SDK : @litert-lm/core now stream-loads all models, defaults to the GPU backend, and supports image and audio inputs. - 🎙️ Speech Models : Added support for multiple ASR and TTS models, including Qwen3-ASR, Kokoro, and Qwen3-TTS. - 🧱 C API 1.0.0 (Breaking) : Functions that can fail now return LiteRtLmStatusCode with results in out parameters, and only litert lm symbols are exported. - ⚙️ Performance & Platform : GPU sampling now matches CPU for the same seed, ModelInfo is faster and uses less memory. 👉 Try Gemma4-E4B with MTP on Linux, macOS, Windows or Raspberry Pi with the LiteRT-LM CLI: 🌟 Key Features - 📱 Cross-Platform Support : Android, iOS, Web, Desktop, and IoT (e.g. Raspberry Pi). - 🚀 Hardware Acceleration : Peak performance via GPU and NPU accelerators. - 👁️ Multi-Modality : Support for vision and
Xem thêm từ README.md

Đánh giá chi tiết

Tổng quan

LiteRT-LM là framework inference mã nguồn mở của Google để triển khai large language models trực tiếp trên edge devices. Tool này nhắm tới bài toán chạy model trên Android, iOS, Web, desktop và cả thiết bị IoT, với trọng tâm là hiệu năng thực tế và tận dụng GPU, NPU khi có.

Điểm đáng chú ý là LiteRT-LM không chỉ nhắm tới chat text cơ bản, mà còn hỗ trợ multimodal, tool use và nhiều họ model như Gemma, Llama, Phi, Qwen. Nếu đang tìm một nền tảng để đưa LLM on-device vào sản phẩm thật, đây là repo rất đáng để theo dõi.

Tính năng chính

  • Tối ưu inference cho edge, hỗ trợ Android, iOS, Web, desktop và Raspberry Pi
  • Tận dụng hardware acceleration qua GPU và NPU để tăng hiệu năng chạy model
  • Hỗ trợ vision, audio input và function calling cho agentic workflows
  • Có CLI để thử nhanh model từ terminal mà không cần viết code ngay từ đầu
  • Tài liệu riêng cho Python, C++, Kotlin và roadmap rõ cho các nền tảng khác

Ai nên dùng

Hợp với developer, đội sản phẩm và kỹ sư mobile hoặc edge AI muốn mang LLM lên thiết bị thật thay vì phụ thuộc hoàn toàn vào cloud inference.

Hạn chế

  • Đây là framework thiên về deployment và inference, không phải tool all-in-one cho training hay fine-tuning
  • Một số API và nền tảng vẫn đang trong giai đoạn phát triển hoặc rollout dần
  • Muốn khai thác tốt cần hiểu thêm về model packaging, phần cứng và giới hạn của từng thiết bị