Cua

Tổng quan

Cua là một bộ hạ tầng mã nguồn mở dành cho computer-use agents: những agent có thể nhìn màn hình, bấm chuột, gõ phím, chạy lệnh và hoàn thành tác vụ trong môi trường desktop thật. Thay vì chỉ cung cấp một demo agent, Cua tập trung vào lớp nền gồm sandbox, SDK, driver điều khiển giao diện, benchmark và công cụ quản lý VM để nhà phát triển có thể tự xây agent hoặc đánh giá agent của mình.

Điểm đáng chú ý của Cua là phạm vi khá rộng. Dự án hỗ trợ Linux, macOS, Windows và Android qua cloud hoặc local runtime, có SDK Python để tạo sandbox tạm thời, chụp màn hình, click, type và chạy shell. Với macOS trên Apple Silicon, thành phần Lume tận dụng Apple Virtualization Framework để tạo VM hiệu năng gần native. Ngoài ra, cuabot cho phép chạy các coding agent hoặc workflow GUI trong sandbox mà không giành chuột, focus hay desktop chính của người dùng.

Cua phù hợp với làn sóng agent không chỉ viết code mà còn thao tác phần mềm thật: mở app, kiểm tra giao diện, chạy trình duyệt, xử lý workflow desktop và ghi lại trajectory để debug hoặc huấn luyện.

Tính năng chính

• SDK tạo và điều khiển sandbox Linux, macOS, Windows, Android với cùng một API.
• Điều khiển chuột, bàn phím, screenshot, shell và mobile gesture cho agent.
• cuabot để chạy agent hoặc ứng dụng GUI trong sandbox có chia sẻ clipboard, audio và cửa sổ native.
• cua-driver cho phép agent điều khiển app macOS nền, kể cả bề mặt khó với Accessibility API truyền thống như canvas hoặc Chromium.
• cua-bench để chạy benchmark trên OSWorld, ScreenSpot, Windows Arena và task tùy chỉnh.
• Lume để tạo và quản lý VM macOS/Linux trên Apple Silicon.
• Ghi lại phiên thao tác thành trajectory có thể phát lại, hữu ích cho debug và training.

Stack kỹ thuật

Repo chính có nhiều package: Python SDK cho cua-agent và cua-sandbox, driver macOS viết bằng Swift, thành phần Rust thử nghiệm cho driver mới, Lume cho virtualization, cùng CLI cuabot. Dự án dùng giấy phép MIT, nhưng một số thành phần tuỳ chọn hoặc dependency có license riêng; ví dụ OmniParser dùng CC-BY-4.0 và gói cua-agent[omni] có thể kéo thêm dependency AGPL.

Điểm mạnh

• Tập trung vào lớp hạ tầng thay vì một agent đóng hộp, nên dễ tích hợp vào stack riêng.
• Hỗ trợ nhiều hệ điều hành và runtime, hữu ích cho test agent trong môi trường gần production.
• Có benchmark và trajectory, giúp đánh giá agent có cơ sở hơn là chỉ xem demo.
• cuabot là hướng triển khai thực tế cho coding agent cần sandbox GUI an toàn.

Hạn chế

• Bề mặt dự án rộng, người mới có thể mất thời gian hiểu package nào cần dùng trước.
• Computer-use agent vẫn là mảng mới; độ ổn định phụ thuộc mạnh vào app, OS, model thị giác và môi trường sandbox.
• Một số tính năng cross-platform hoặc Rust driver còn đang phát triển.
• Nếu dùng cloud sandbox hoặc GPU/VM nặng, cần cân nhắc chi phí vận hành và bảo mật dữ liệu.

Phù hợp khi nào

Cua phù hợp cho team đang xây agent có khả năng thao tác desktop, browser hoặc app native; nhóm nghiên cứu muốn benchmark computer-use agents; hoặc developer muốn chạy Claude Code, OpenClaw, Codex và các agent khác trong môi trường sandbox tách biệt thay vì cho chạm trực tiếp vào máy thật.