DeepInfra，vòng gọi vốn Series B 107 triệu USD…… Mở rộng hạ tầng suy luận AI toàn cầu

Tập trung vào doanh nghiệp điện toán đám mây chuyên về suy luận trí tuệ nhân tạo DeepInfra đã huy động được 107 triệu USD trong vòng gọi vốn Series B, sẽ thúc đẩy mở rộng thiết bị toàn cầu. Tính theo won Hàn Quốc, quy mô khoảng 158,192,500,000 won. Trong giai đoạn thử nghiệm vượt qua AI tạo sinh, chuyển sang “AI đại lý”, DeepInfra dự định phá vỡ giới hạn của điện toán đám mây tổng quát hiện tại.

Vòng đầu tư này do 500 Global và kỹ sư cũ của Google Cloud George Harrick dẫn dắt. Ngoài ra, Nvidia, bộ phận đầu tư của Samsung Electronics Samsung Next, Supermicro, A.Capital Ventures, Crescent Cove, Peliciis, Peak6, Upper90 và các bên khác cũng tham gia. Đặc biệt, các nhà đầu tư chính đều chú ý đến tiềm năng tăng trưởng của thị trường hạ tầng AI.

DeepInfra là một công ty tập trung vào giai đoạn “suy luận” trong tải trọng công việc AI. Suy luận là giai đoạn AI đã huấn luyện hoàn chỉnh xử lý yêu cầu của người dùng trong môi trường dịch vụ thực tế. Công ty cho rằng, các nền tảng đám mây hiện tại không được thiết kế dựa trên nhu cầu này. Họ giải thích rằng, đặc biệt là AI đại lý, để hoàn thành một nhiệm vụ cần gọi mô hình từ vài chục đến vài trăm lần, có thể gây ra độ trễ và chi phí biến động dữ dội.

Để giải quyết vấn đề này, DeepInfra cho biết đang xây dựng một “nhà máy token” xem suy luận là quy trình cốt lõi chứ không phải dịch vụ phụ trợ. Công ty được thành lập bởi nhóm kỹ sư đã tạo ra ứng dụng nhắn tin tức thì “imo”, đã mở rộng ra hơn 200 triệu người dùng toàn cầu. Chiến lược của họ là chuyển kinh nghiệm vận hành hệ thống phân tán quy mô lớn sang hạ tầng suy luận AI.

Khác với các nhà vận hành hiện tại dựa vào việc mượn dung lượng máy chủ “Spot” rảnh rỗi từ bên ngoài, DeepInfra vận hành phần cứng riêng tại 8 trung tâm dữ liệu ở Mỹ. Họ mô tả rằng, từ GPU đến API, bằng cách kiểm soát toàn bộ hệ thống, họ nâng cao hiệu quả. Công ty tuyên bố rằng, sử dụng nền tảng suy luận phân tán của Nvidia “Dynamo” cùng GPU Blackwell, Vera Rubin, có thể cung cấp hiệu quả chi phí suy luận cao gấp 20 lần.

Đặc biệt, DeepInfra cho rằng AI đại lý tiêu thụ nhiều tài nguyên hơn so với các chatbot tạo sinh hiện tại. Hiện tại, hơn 30% toàn bộ lưu lượng token sinh ra trên nền tảng của họ đến từ các đại lý tự chủ, điều này chứng minh điều đó. Điều này cho thấy nhu cầu suy luận AI đang vượt ra ngoài phản hồi của chatbot đơn giản, nhanh chóng chuyển sang xử lý tự động hóa doanh nghiệp.

Hiện tại, nền tảng của DeepInfra hỗ trợ hơn 190 mô hình AI mã nguồn mở, bao gồm dòng Nvidia Nemotron. Đồng thời, đối với các doanh nghiệp cảm thấy gánh nặng khi gửi dữ liệu nhạy cảm ra đám mây bên ngoài, còn cung cấp chính sách “không giữ dữ liệu”. Điều này được hiểu là nhằm tạo lợi thế khác biệt trong thị trường AI doanh nghiệp, cân nhắc đồng thời về an toàn, chi phí và tốc độ.

Đồng sáng lập kiêm CEO Nikolai Borisov cho biết, từ khi thành lập công ty cách đây bốn năm, ông đã nghĩ rằng suy luận AI sẽ trở thành trung tâm của tải trọng công việc AI doanh nghiệp, và dự đoán này đã trở thành hiện thực. Ông phân tích rằng, các mô hình mã nguồn mở đang nhanh chóng bắt kịp các mô hình đóng nguồn để lan truyền sáng tạo với chi phí thấp hơn, và hệ thống dựa trên đại lý đang tạo ra nhu cầu liên tục và quy mô lớn. Ông nhấn mạnh rằng, suy luận AI không còn là một lớp xử lý mỏng manh nữa, mà sẽ trở thành “bị kẹt cổ chai” định hình phần lớn tải trọng AI trong tương lai.

Tony Wang của 500 Global cũng nhận xét rằng, trong bối cảnh nhu cầu suy luận AI tăng vọt, các nhà phát triển và kỹ sư cần hạ tầng nhanh hơn, linh hoạt hơn và ổn định hơn. Ông cho biết, đội ngũ DeepInfra đã chứng minh khả năng xây dựng và vận hành hệ thống phân tán quy mô toàn cầu, và tin rằng hạ tầng suy luận AI mục tiêu sẽ trở thành nền tảng cốt lõi hỗ trợ ngành công nghiệp AI trong giai đoạn tiếp theo.

Vòng gọi vốn này không chỉ đơn thuần là huy động vốn, mà còn thể hiện rằng cuộc cạnh tranh hạ tầng AI đang chuyển trọng tâm từ huấn luyện sang suy luận. Đặc biệt, khi việc phổ biến AI đại lý trở thành chính thức, cách xử lý suy luận AI nhanh chóng và chi phí thấp ngày càng trở thành yếu tố quyết định thắng thua mới trên thị trường đám mây.

Lưu ý của TP AI Bản tóm tắt này dựa trên mô hình ngôn ngữ TokenPost.ai. Có thể bỏ sót nội dung chính hoặc không phản ánh chính xác thực tế.