Baseten, nhà cung cấp hạ tầng AI, đã đạt được cột mốc quan trọng khi cải thiện hiệu suất chi phí cho tác vụ inference AI lên đến 225%. Thành tựu này có được nhờ việc tận dụng máy ảo A4 mới nhất của Google Cloud, dựa trên GPU NVIDIA Blackwell và công cụ Dynamic Workload Scheduler, mở ra hướng đi mới cho các doanh nghiệp muốn triển khai AI quy mô lớn một cách hiệu quả.

Bước đột phá về hiệu suất và chi phí này cho phép các công ty đưa các mô hình AI có khả năng suy luận và agentic AI (AI tác tử) mạnh mẽ từ phòng thí nghiệm ra môi trường sản xuất với chi phí hợp lý. Đối với các nhà lãnh đạo công nghệ, đây là một hình mẫu tham khảo để xây dựng các sản phẩm AI thế hệ mới — như AI giọng nói thời gian thực, tìm kiếm và các quy trình công việc tự động — ở quy mô và hiệu quả chi phí mà trước đây khó có thể đạt được.

Trong bối cảnh AI doanh nghiệp, inference (suy luận) là nền tảng. Khi các mô hình đòi hỏi khả năng suy luận và ra quyết định đa bước, nhu cầu về năng lực tính toán tăng theo cấp số nhân, khiến việc phục vụ chúng một cách hiệu quả trở thành nút thắt chính. Baseten, một công ty Series C, đã hợp tác với Google Cloud và NVIDIA để cung cấp cho các doanh nghiệp một nền tảng inference có khả năng mở rộng cho cả mô hình độc quyền và các mô hình mở như Gemma, DeepSeek, và Llama, với trọng tâm là hiệu suất và hiệu quả chi phí.

Tối ưu phần cứng với GPU NVIDIA thế hệ mới nhất

Baseten cung cấp dịch vụ inference cấp doanh nghiệp bằng cách tận dụng nhiều loại GPU NVIDIA trên Google Cloud, từ NVIDIA T4 đến các máy ảo A4 mới nhất (trang bị NVIDIA HGX B200). Việc tiếp cận phần cứng mới nhất này là yếu tố quan trọng để đạt được các cấp độ hiệu suất mới.

Với máy ảo A4, Baseten hiện đang phục vụ ba trong số các mô hình mã nguồn mở phổ biến nhất — DeepSeek V3, DeepSeek R1 và Llama 4 Maverick — trực tiếp trên các API Model của họ với hiệu suất chi phí tốt hơn 225% cho các tác vụ inference thông lượng cao, và tốt hơn 25% cho các tác vụ inference nhạy cảm về độ trễ.

Ngoài các API model sẵn sàng cho sản xuất, Baseten còn cung cấp các tùy chọn triển khai chuyên dụng trên nền tảng GPU NVIDIA B200 cho những khách hàng muốn chạy các mô hình AI tùy chỉnh của riêng mình với độ tin cậy và hiệu quả tương tự.

Phần mềm nâng cao để đạt hiệu năng đỉnh cao

Cách tiếp cận của Baseten là kết hợp phần cứng tăng tốc mới nhất với phần mềm mã nguồn mở và hàng đầu để khai thác tối đa giá trị từ mỗi con chip. Sự tích hợp này được thực hiện nhờ vào nền tảng AI Hypercomputer của Google Cloud, bao gồm một bộ các framework inference tiên tiến, trong đó có cả bộ phần mềm mã nguồn mở của NVIDIA — NVIDIA Dynamo và TensorRT-LLM — cũng như SGLang và vLLM.

Sử dụng TensorRT-LLM, Baseten đã tối ưu và biên dịch các mô hình LLM tùy chỉnh cho một trong những khách hàng AI lớn nhất của mình là Writer. Điều này đã giúp tăng thông lượng hơn 60% cho các mô hình Palmyra LLM của Writer. Sự linh hoạt của TensorRT-LLM cũng cho phép Baseten phát triển một trình xây dựng mô hình tùy chỉnh giúp tăng tốc quá trình biên dịch mô hình.

Để phục vụ các mô hình có khả năng reasoning (suy luận) như DeepSeek R1 và Llama 4 trên GPU NVIDIA Blackwell, Baseten sử dụng NVIDIA Dynamo. Sự kết hợp giữa NVIDIA HGX B200 và Dynamo đã giúp giảm đáng kể độ trễ và tăng thông lượng, đưa Baseten lên vị trí dẫn đầu về hiệu suất GPU trên bảng xếp hạng LLM của OpenRouter.

Xây dựng nền tảng cho tính sẵn sàng cao và dự phòng

Đối với các dịch vụ AI quan trọng, khả năng phục hồi là không thể thiếu. Baseten hoạt động trên toàn cầu, trên nhiều nền tảng đám mây và khu vực, đòi hỏi một cơ sở hạ tầng có thể xử lý các nhu cầu đột xuất và sự cố. Các mô hình tiêu thụ linh hoạt, chẳng hạn như Dynamic Workload Scheduler trong AI Hypercomputer, giúp Baseten quản lý dung lượng tương tự như theo yêu cầu (on-demand) với các lợi ích về giá cả. Điều này cho phép họ mở rộng quy mô trên Google Cloud nếu có sự cố xảy ra trên các đám mây khác.

“Baseten hoạt động trên toàn cầu, trên nhiều nền tảng đám mây và Dynamic Workload Scheduler đã cứu chúng tôi không chỉ một lần khi gặp sự cố. Hệ thống tự động của chúng tôi di chuyển các workload bị ảnh hưởng sang các tài nguyên khác, bao gồm cả Dynamic Workload Scheduler của Google Cloud, và chỉ trong vài phút, mọi thứ đã hoạt động trở lại. Điều này thật ấn tượng — đến lúc chúng tôi nhận được cảnh báo và kiểm tra, mọi thứ đã ổn định. Điều này sẽ không thể thực hiện được nếu không có DWS. Nó đã trở thành xương sống cho hoạt động kinh doanh của chúng tôi.”
– Colin McGrath, Head of Infrastructure, Baseten

Mở ra các ứng dụng AI mới cho người dùng cuối

Sự hợp tác của Baseten với Google Cloud và NVIDIA cho thấy sự kết hợp mạnh mẽ giữa phần cứng tiên tiến và cơ sở hạ tầng đám mây linh hoạt, có khả năng mở rộng có thể giải quyết những thách thức cấp bách nhất trong lĩnh vực AI inference thông qua AI Hypercomputer của Google Cloud.

Sự kết hợp độc đáo này cho phép người dùng cuối trong nhiều ngành công nghiệp đưa các ứng dụng mới ra thị trường, chẳng hạn như cung cấp năng lượng cho các quy trình làm việc agentic trong dịch vụ tài chính, tạo nội dung âm thanh và video thời gian thực trong ngành truyền thông, và tăng tốc xử lý tài liệu trong lĩnh vực chăm sóc sức khỏe. Tất cả đều đang diễn ra ở một quy mô và chi phí mà trước đây không thể đạt được.

Doanh nghiệp có thể dễ dàng bắt đầu với nền tảng của Baseten thông qua Google Cloud Marketplace.