llm-wiki-compiler
Knowledge compiler biến raw sources thành interlinked markdown wiki để dùng như persistent context cho LLM workflows.
Xem thêm từ README.mdThu gọn README.md
Đánh giá chi tiết
Tổng quan
llm-wiki-compiler là tool biên dịch knowledge từ raw sources thành một markdown wiki có liên kết chéo. Ý tưởng cốt lõi là thay vì để RAG phải mò lại quan hệ giữa các khái niệm mỗi lần hỏi, bạn compile trước thành một cấu trúc wiki bền vững để tri thức tích lũy dần theo thời gian.
Đây là một hướng rất hợp với context engineering và personal knowledge workflows. Tool không thay RAG hoàn toàn, mà đóng vai trò tạo ra một knowledge artifact có thể duyệt, truy vấn và làm giàu dần sau mỗi lần sử dụng.
Tính năng chính
- Biến raw sources thành interlinked wiki với các concept pages và wikilinks
- Pipeline hai pha để tách concept extraction khỏi page generation, giảm lỗi phụ thuộc thứ tự
- Hỗ trợ incremental compile bằng hash-based change detection, không cần chạy lại toàn bộ
- Có chế độ query rồi save ngược lại thành page mới, giúp wiki giàu dần theo thời gian
- Phù hợp với markdown workflows, technical notes và structured knowledge bases
Ai nên dùng
Hợp với researcher, technical writer, knowledge worker hoặc ai đang gom nhiều tài liệu rời rạc thành một kho tri thức dễ duyệt cho LLM.
Hạn chế
- Cần đầu tư thời gian chọn và làm sạch nguồn đầu vào thì wiki mới thực sự có chất lượng
- Dùng Anthropic API nên vẫn có phụ thuộc external model provider
- Không phải giải pháp thay thế hoàn toàn cho RAG quy mô lớn, mà hợp hơn với kho tri thức có cấu trúc và nhu cầu tích lũy lâu dài