Startup FuriosaAI của Hàn Quốc, từng từ chối lời đề nghị mua lại trị giá 800 triệu USD từ Meta, đang tạo ra những bước tiến đáng chú ý trong lĩnh vực cơ sở hạ tầng AI, đáp ứng nhu cầu ngày càng tăng của thị trường. Công ty tập trung vào việc cung cấp cho các doanh nghiệp giải pháp phần cứng hiệu quả, cho phép vận hành các mô hình ngôn ngữ lớn mà không đòi hỏi các nâng cấp tốn kém cho trung tâm dữ liệu hoặc tiêu thụ năng lượng quá lớn.
Điểm nổi bật trong giải pháp của FuriosaAI là máy chủ RNGD. Theo công bố của công ty, mỗi hệ thống RNGD Server sở hữu sức mạnh tính toán lên đến 4 petaflop (tương đương 4 triệu tỷ phép tính mỗi giây) cùng bộ nhớ HBM3 384 GB, nhưng chỉ tiêu thụ khoảng 3 kW điện năng trong quá trình hoạt động. Để so sánh, máy chủ Nvidia DGX H100 có thể tiêu thụ trên 10 kW để đạt được hiệu năng tương đương. Điều này có nghĩa là, một rack trung tâm dữ liệu tiêu chuẩn, thường giới hạn ở mức 15 kW, có thể chứa tới 5 máy chủ RNGD, trong khi chỉ có thể lắp đặt duy nhất một máy chủ DGX H100.
FuriosaAI nhấn mạnh rằng thiết kế này giải quyết một trong những thách thức lớn nhất đối với các doanh nghiệp hiện nay. Phần lớn các trung tâm dữ liệu hiện tại bị giới hạn ở mức 8 kW điện năng trên mỗi rack hoặc thậm chí thấp hơn, do các yêu cầu phức tạp về hệ thống làm mát và cấp điện. Việc triển khai RNGD Server cho phép các doanh nghiệp mở rộng quy mô một cách hiệu quả, đồng thời vẫn duy trì khả năng tương thích với các API của OpenAI.
Gần đây, FuriosaAI đã hoàn thành vòng gọi vốn Series C với tổng giá trị 125 triệu USD và mở rộng quan hệ đối tác chiến lược với LG AI Research. LG đang sử dụng phần cứng RNGD để vận hành mô hình Exaone của mình và cho biết đã đạt được hiệu suất suy luận trên mỗi watt cao hơn gấp đôi so với các GPU truyền thống. Trước đó, FuriosaAI cũng đã hợp tác với OpenAI để trình diễn chatbot mã nguồn mở gpt-oss 120B, chạy theo thời gian thực chỉ trên hai bộ tăng tốc RNGD.
Máy chủ RNGD hiện đang được thử nghiệm bởi một số khách hàng và dự kiến sẽ chính thức mở đơn đặt hàng vào đầu năm 2026.
Admin
Nguồn: VnExpress
