🔧 Công cụ lập trình•Mã nguồn mở•Beta

Numbat

Công cụ quan sát hoạt động AI agent trên endpoint, chuẩn hóa log, phát hiện hành vi và chặn trước hành động ở các hook được hỗ trợ.

#numbat

Truy cập website Xem GitHub ⚖️ So sánh

Danh mục

🔧 Công cụ lập trình

Giá

Mã nguồn mở

GitHub Stars

⭐ 1,067

Ngôn ngữ

License

Apache-2.0

Ngày thêm

2026-08-05

agent-security observability endpoint forensics policy coding-agents cel open-source

Tóm tắt từ README GitHub

numbat Endpoint visibility into AI agent activity, with local detection, optional pre-action blocking, and forensic reconstruction. numbat observes supported desktop, CLI, IDE, and gateway agents through local hooks and plugins, OTLP/HTTP logs, and on-disk session artifacts. Live and at-rest activity is normalized into one event model and evaluated by the same CEL rule engine. Detection runs locally; records can be written to stdout or a local file and optionally delivered over HTTP. The coverage matrix is authoritative for each host and surface. Blocking is off by default and limited to supported synchronous pre-action hooks; see the enforcement guide. Features - Live monitoring through hooks, plugins, and OTLP/HTTP log exporters. - Endpoint-local detection with built-in CEL rules, multi-step sequence rules, and custom YAML rules. - Opt-in blocking through supported pre-action hooks. Enforce mode is disabled by default and applies only to rules marked ; all shipped rules are monitor-only. - Forensic reconstruction from supported on-disk session artifacts, without prior numbat instrumentation. - Versioned NDJSON records for events, findings, enforcement decision

Xem thêm từ README.md

Đánh giá chi tiết

Tổng quan

Numbat là một lớp quan sát và policy cục bộ cho AI agent do Perplexity phát hành. Nó thu thập hoạt động từ hook, plugin, OTLP/HTTP log và session artifact của các desktop, CLI, IDE hoặc gateway agent; sau đó chuẩn hóa chúng về một event model và chạy rule CEL. Kết quả có thể dùng để theo dõi live, dựng timeline forensic hoặc chặn trước một số hành động nguy hiểm.

Cách tiếp cận này giống một EDR nhỏ dành riêng cho coding agent, nhưng Numbat không tự nhận là giải pháp bảo mật tuyệt đối. Coverage matrix ghi riêng agent nào chỉ đọc artifact, agent nào có live capture và agent nào hỗ trợ synchronous pre-action enforcement. Sự phân biệt này quan trọng vì đọc log sau sự kiện khác hoàn toàn chặn hành động trước khi nó xảy ra.

Tính năng chính

Tự phát hiện nhiều agent và quét session artifact đã lưu.
Cài hook để nhận sự kiện live từ Claude Code, Codex và các agent tương thích.
Rule engine CEL dùng chung cho dữ liệu live lẫn at-rest.
Monitor-only mặc định; operator có thể bật enforce: true cho rule và hook hỗ trợ.
Dựng timeline, case bundle và manifest SHA-256 để kiểm tra tính nhất quán.
Xuất NDJSON cục bộ hoặc gửi tới HTTP sink do operator cấu hình.
Binary cho macOS, Linux, Windows, amd64 và arm64.

Điểm mạnh

Numbat viết tài liệu khá trung thực về giới hạn bằng chứng. Finding chỉ là rule match, không tự động chứng minh compromise; case bundle chưa ký chỉ chứng minh các file trong bundle nhất quán với nhau, không chứng minh nguồn gốc. Release v0.1.2 tập trung sửa redaction credential trong URI, chuẩn hóa Codex artifact và integrity của evidence.

Tôi chạy go test ./... trên commit được kiểm tra. Lần đầu hai test inventory thất bại vì môi trường test đang có HERMES_HOME, khiến Numbat đúng nghĩa phát hiện Hermes dù test giả định HOME trống. Sau khi cô lập biến Hermes, toàn bộ package test vượt qua. Đây là bằng chứng test cục bộ tốt cho parser, rule, hook và redaction, chưa phải live enforcement trên mọi agent trong coverage matrix.

Hạn chế

Tất cả rule đóng gói sẵn đều monitor-only; blocking tắt mặc định và chỉ có hiệu lực nếu agent cung cấp hook đồng bộ trước hành động. Với nguồn at-rest, Numbat không thể nhìn thấy việc agent không ghi lại. Một finding về upload được đề xuất cũng không chứng minh dữ liệu thật đã rời máy.

Log và case có thể chứa đường dẫn, prompt, lệnh hoặc thông tin endpoint nhạy cảm sau redaction, nên vẫn cần retention, permission và bảo vệ sink. Coverage giữa các agent không đồng đều và có store còn deferred. Dự án mới v0.1.2, vì vậy schema event và rule contract còn khả năng thay đổi.

Phù hợp khi nào

Numbat hợp với đội đang dùng nhiều coding agent và muốn có inventory, audit, rule cục bộ trước khi mua nền tảng lớn. Nên bắt đầu ở monitor-only, đo false positive, kiểm tra redaction rồi chỉ bật enforcement cho một số rule có hậu quả rõ ràng như ghi authorized_keys hoặc đọc secret rồi chuẩn bị egress.