Startup công nghệ y tế Giles AI đã chuyển đổi thành công nền tảng của mình sang Google Cloud, giúp một trong những khách hàng đầu tiên giảm tới 85% thời gian cho các tác vụ nghiên cứu lâm sàng. Bằng cách tận dụng kiến trúc microservices và các công cụ AI tiên tiến như Vertex AI, Giles AI đã giải quyết các thách thức về độ trễ, khả năng mở rộng và bảo mật, đồng thời tăng tốc độ phát triển sản phẩm.

Giles AI là một startup có trụ sở tại London, chuyên giúp các tổ chức y tế và khoa học sự sống nhanh chóng trích xuất thông tin chuyên sâu từ các nguồn dữ liệu phân mảnh. Người dùng có thể kết nối với các kho dữ liệu nội bộ và bên ngoài, tải lên tài liệu và hình ảnh lên nền tảng Giles AI để khai thác cơ sở tri thức tổng hợp một cách hiệu quả thông qua các câu lệnh ngôn ngữ tự nhiên.

Thách thức

Khi lượng người dùng tăng lên, nhà cung cấp đám mây trước đây của Giles AI đã gặp khó khăn trong việc xử lý các luồng dữ liệu phức tạp, tích hợp các mô hình ngôn ngữ lớn (LLM) mới và các API bên ngoài. Độ trễ (latency) tăng cao, làm chậm giao diện người dùng và ảnh hưởng đến các hoạt động quan trọng. Đội ngũ kỹ sư cũng cần một môi trường phát triển linh hoạt hơn. Ngoài ra, bảo mật là yếu tố nền tảng, đòi hỏi dữ liệu nhạy cảm phải được bảo vệ ở mọi bước theo các tiêu chuẩn lâm sàng và y tế nghiêm ngặt.

Giải pháp trên Google Cloud

Giles AI đã tận dụng kiến trúc module, thân thiện với API và dựa trên microservices của Google Cloud để giải quyết các thách thức trên. Giải pháp này giúp giảm thiểu độ trễ, dễ dàng quản lý các luồng dữ liệu lâm sàng phức tạp trong thời gian thực và khai thác các foundation model mới nhất.

• Hạ tầng linh hoạt: Việc điều phối dịch vụ backend trên Google Kubernetes Engine (GKE) và các microservices gọn nhẹ trên Cloud Run được bổ sung bởi các workload chuyên dụng trong Compute Engine. Kiến trúc này giúp nền tảng Giles AI luôn sẵn sàng, linh hoạt và có khả năng mở rộng mà không cần quản lý và bảo trì phức tạp. Cloud Load Balancing đảm bảo hiệu quả phân phối tải.
• Quản lý dữ liệu và AI: Cloud SQL, Cloud Storage và Document AI giúp nền tảng quản lý dữ liệu có cấu trúc, phi cấu trúc và trích xuất thông tin. Vertex AI xử lý việc lựa chọn mô hình và điều phối prompt. Hệ thống được thiết kế không phụ thuộc vào một mô hình cụ thể (model-agnostic), cho phép Giles AI định tuyến các truy vấn đến LLM phù hợp nhất từ hàng trăm mô hình có sẵn trong Model Garden.
• Bảo mật toàn diện: Giles AI sử dụng Cloud Armor để chống lại các cuộc tấn công dựa trên web và Security Command Center để chủ động quản lý rủi ro. Các cơ sở dữ liệu theo vùng của Google Cloud cũng giúp Giles AI bản địa hóa dữ liệu, một yêu cầu quan trọng trong ngành y tế.

Kiến trúc chi tiết

Kết quả ấn tượng

Việc chuyển đổi sang Google Cloud đã mang lại những kết quả vượt trội. Theo Giles AI, điểm nổi bật của Vertex AI là khả năng hỗ trợ thử nghiệm các quy trình AI. Điều này cho phép họ linh hoạt cắm và rút bất kỳ LLM nào vào quy trình làm việc của mình, mang lại sự linh hoạt và hiệu quả, vốn là chìa khóa cho thành công của công ty.

Kết quả thực tế cho thấy:

• Một trong những khách hàng đầu tiên của Giles AI đã giảm 85% thời gian cần thiết cho các tác vụ nghiên cứu lâm sàng và đạt độ chính xác phản hồi trên 94%. Khách hàng này sau đó đã trở thành nhà đầu tư chiến lược của công ty.
• Độ trễ, thời gian hoạt động (uptime) và khả năng mở rộng đều được cải thiện đáng kể, ngay cả với các truy vấn dữ liệu phức tạp.
• Về mặt nội bộ, Giles AI ghi nhận tốc độ phát triển của lập trình viên tăng lên nhờ hạ tầng dưới dạng mã (infrastructure-as-code) và các dịch vụ được quản lý, giúp giảm chi phí kỹ thuật.

Hướng tới tương lai

Đội ngũ Giles AI rất lạc quan về tiềm năng của các foundation model chuyên biệt cho cộng đồng y tế từ Google Cloud, bao gồm MedGemma (dòng mô hình AI mã nguồn mở cho ứng dụng y tế) và TxGemma (bộ mô hình ngôn ngữ trị liệu mở giúp hợp lý hóa việc khám phá và phát triển thuốc).

Với những công cụ mạnh mẽ này, Giles AI được kỳ vọng sẽ cung cấp khả năng ra quyết định thông minh hơn, chuyên sâu hơn trong toàn bộ quy trình R&D của ngành chăm sóc sức khỏe, giúp khách hàng biến dữ liệu phức tạp thành những đột phá thực tế nhanh hơn bao giờ hết.