Khi các mô hình và bộ điều phối (harness) ngày càng cải tiến, các tác tử AI (agent) đang đảm nhận những nhiệm vụ ngày càng phức tạp, có thể chạy trong nhiều giờ hoặc thậm chí nhiều ngày. Tuy nhiên, điều này lại nảy sinh một vấn đề vận hành mới: các luồng công việc của agent chạy dài rất mong manh và khó quản lý một cách đáng tin cậy và hiệu quả trong môi trường sản phẩm.

Google Cloud chính thức giới thiệu Agent Executor, một runtime mã nguồn mở tiêu chuẩn để thực thi, khôi phục và triển khai phân tán các agent. Dựa trên kinh nghiệm giải quyết các thách thức này trong nội bộ, Google Cloud đã xây dựng Agent Executor với các khả năng gốc sau:

• Thực thi bền bỉ (Durable execution): Các tác vụ chạy dài đòi hỏi khả năng tiếp tục sau khi mất điện hoặc bị gián đoạn, chẳng hạn như cần xác nhận từ con người (human-in-the-loop). Agent Executor tự động cung cấp khả năng phục hồi này cho bất kỳ tác nhân nào (agent, harness, skill, tool, sandbox) thông qua nhật ký sự kiện và cơ chế tạo ảnh nhanh (snapshotting).
• Cô lập an toàn (Secure isolation): Agent Executor cô lập các thành phần trong các sandbox được thiết kế an toàn để ngăn chặn các tác dụng phụ có hại và đảm bảo hoạt động độc hại không thể xâm phạm dịch vụ rộng hơn.
• Nhất quán phiên làm việc (Session consistency): Trong các luồng công việc phân tán của agent, nhiều thành phần có thể cố gắng cập nhật trạng thái phiên được chia sẻ cùng một lúc. Kiến trúc single-writer tích hợp sẵn của Agent Executor giúp duy trì tính nhất quán và giảm nguy cơ hỏng dữ liệu.
• Phục hồi kết nối (Connection recovery): Trong quá trình thực thi dài hạn, máy khách có thể ngắt kết nối vì nhiều lý do. Agent Executor cho phép máy khách kết nối lại với agent và lấp đầy các phản hồi từ chuỗi cuối cùng mà máy khách đã thấy để có trải nghiệm người dùng tốt hơn.
• Phân nhánh quỹ đạo (Trajectory branching): Các điểm kiểm tra (checkpoint) cho phép doanh nghiệp phân nhánh một quỹ đạo của agent (quyết định hoặc luồng công việc) tại bất kỳ điểm nào, cho phép agent kiểm tra hoặc đánh giá các đường đi khác nhau mà không làm mất ngữ cảnh hoặc trạng thái khác.

Liên kết với runtime agent của Google

Việc áp dụng agent trong doanh nghiệp đòi hỏi sự phối hợp giữa các mô hình triển khai. Một số nhóm cần hạ tầng tại chỗ (on-prem) cho các luồng công việc độc quyền, hiệu suất hoặc tuân thủ, trong khi những nhóm khác lại ưa thích các agent được xây dựng sẵn hoặc được quản lý để rút ngắn thời gian đưa sản phẩm ra thị trường.

Agent Executor kết nối các mô hình triển khai này, cho phép doanh nghiệp kết hợp linh hoạt giữa bất kỳ hoặc tất cả các giải pháp sau:

• Google Antigravity, bộ điều phối agent tiên tiến của Gemini.
• Các agent tiên phong do Google xây dựng, chẳng hạn như agent Deep Research mới nhất.
• Các agent tùy chỉnh do doanh nghiệp xây dựng và được Google quản lý (ví dụ: thông qua Managed Agents trong Gemini API mới).
• Các agent tùy chỉnh được xây dựng bằng LangChain/LangGraph, Agent Development Kit (ADK) và bất kỳ agent nào sử dụng Agent2Agent Protocol (A2A).

Toàn quyền sở hữu agent, mô hình và tài nguyên tính toán

Với Agent Executor, doanh nghiệp có sự linh hoạt tối đa để duy trì quyền chủ quyền đối với khối lượng công việc và giữ các quy trình độc quyền trong môi trường tính toán tự quản lý và sandbox tùy chỉnh. Điều này mang lại nhiều lợi ích:

• Chống phụ thuộc vào nhà cung cấp (vendor lock-in): Triển khai agent trên hạ tầng của riêng bạn mà không bị ràng buộc vào mô hình hoặc môi trường tính toán của một nhà cung cấp cụ thể. Điều này cho phép kiểm soát hoàn toàn nơi lưu trữ dữ liệu, chi phí và ngân sách.
• Sử dụng harness và agent của riêng bạn: Agent Executor được thiết kế để không phụ thuộc vào harness, cho phép bạn mang theo của riêng mình hoặc sử dụng các harness từ các nhà cung cấp khác. Nó cũng hỗ trợ các agent được phát triển với các framework và giao thức tiêu chuẩn ngành.
• Kiểm soát hoàn toàn việc thực thi: Agent Executor cho phép các nhà phát triển chạy toàn bộ stack agent, bao gồm các MCP, skill và các agent khác, trực tiếp trên mặt phẳng dữ liệu (data plane) của riêng họ.

Mở rộng quy mô agent trên Kubernetes với lớp tính toán chuyên dụng

Khi khối lượng công việc của agent mở rộng lên hàng trăm triệu và ngày càng chạy lâu hơn, khách hàng của Google Cloud đang gặp phải giới hạn của các lớp trừu tượng tính toán truyền thống. Để giải quyết vấn đề này, Google Cloud đã hợp tác với nhóm Google Kubernetes Engine (GKE) trong dự án mã nguồn mở mới mang tên Agent Substrate.

Agent Substrate giới thiệu một lớp trừu tượng mới cho Kubernetes, giúp di chuyển các agent vào và ra khỏi tài nguyên tính toán sẵn sàng trong thời gian thực, mang lại độ trễ thấp hơn với quy mô và hiệu quả cao hơn. Trong khi Kubernetes tiêu chuẩn được tối ưu hóa để xử lý hàng nghìn dịch vụ chạy dài, Agent Substrate được thiết kế cho hàng triệu lệnh gọi công cụ trong thời gian dưới một giây mà nếu không sẽ làm quá tải một mặt phẳng điều khiển tiêu chuẩn.

Sự kết hợp giữa Agent Executor và Agent Substrate cho phép doanh nghiệp:

• Tối đa hóa hiệu quả tính toán: Agent Substrate giới thiệu một mặt phẳng điều khiển mới được thiết kế để xử lý hàng trăm triệu agent đã đăng ký.
• Duy trì trong hệ sinh thái Kubernetes: Agent Substrate được xây dựng trên nền tảng Kubernetes và cho phép lập lịch cũng như mở rộng quy mô tài nguyên tính toán theo chiều ngang với cấu hình khai báo.

Video dưới đây trình bày cách sử dụng Agent Executor cùng với Agent Substrate với một khối lượng công việc mẫu.

Bắt đầu ngay hôm nay

Các mô hình, agent, harness và cơ sở hạ tầng xung quanh chúng đều đang phát triển nhanh hơn bao giờ hết. Google Cloud đang xây dựng Agent Executor một cách cởi mở để có thể xác thực thiết kế trong tay của các nhà phát triển thực tế và cải thiện dựa trên phản hồi của cộng đồng.

Agent Executor hiện đã có sẵn trong bản xem trước (preview). Doanh nghiệp và các nhà phát triển có thể khám phá mã nguồn, thử nghiệm với khối lượng công việc của riêng mình và giúp định hình tương lai của các runtime cho agent bằng cách truy cập vào kho lưu trữ GitHub.