DeepSeek vừa công bố phiên bản V3.2-exp trên các nền tảng Hugging Face và GitHub vào ngày 29/9, tích hợp nhiều tính năng mới nhằm giảm thiểu chi phí suy luận. Mô hình này hiện đang trong giai đoạn thử nghiệm cuối cùng và dự kiến sẽ sớm được triển khai dưới dạng API (giao diện lập trình ứng dụng) cho các nhà phát triển.
Điểm nổi bật nhất của phiên bản này là công nghệ DeepSeek Sparse Attention. Đây là một hệ thống phức tạp, sử dụng một module riêng biệt để ưu tiên các đoạn trích cụ thể từ cửa sổ ngữ cảnh. Hệ thống này còn bao gồm cơ chế “fine-grained token selection” (lựa chọn mã thông báo chi tiết), cho phép chọn lọc các token từ các đoạn trích và tải chúng vào “cửa sổ Attention” theo một trình tự hạn chế, giúp tiết kiệm đáng kể tài nguyên. Nhờ đó, Sparse Attention có khả năng xử lý các chuỗi ngữ cảnh dài ngay cả trên các máy chủ có cấu hình tương đối nhỏ.
Lợi ích của Sparse Attention đặc biệt rõ rệt khi xử lý ngữ cảnh dài. Các thử nghiệm ban đầu của DeepSeek cho thấy chi phí cho một lệnh gọi API đơn giản có thể giảm tới một nửa khi sử dụng công nghệ này. Tuy nhiên, công ty cũng lưu ý rằng cần tiến hành thêm các thử nghiệm và đánh giá chi tiết trước khi phát hành phiên bản hoàn thiện cho người dùng cuối.
Theo TechCrunch, V3.2-exp có thể là một giải pháp đột phá trong việc giải quyết vấn đề hiệu năng cao với chi phí thấp của AI – một vấn đề đang được quan tâm đặc biệt khi nhiều công ty đang đầu tư mạnh vào xây dựng hạ tầng để huấn luyện các mô hình trí tuệ nhân tạo. DeepSeek nổi tiếng với các mô hình AI hiệu năng cao với chi phí vận hành thấp, và V3.2-exp được xem là một bước tiến đáng kể so với các phiên bản trước.
DeepSeek, có trụ sở tại Trung Quốc, đã gây tiếng vang lớn vào đầu năm nay với các mô hình V3 và R1. Trong thời gian qua, công ty đã ủng hộ phương pháp “chưng cất” (distillation), cho rằng phương pháp này giúp các mô hình đạt hiệu suất tốt trong khi chi phí đào tạo và vận hành rẻ hơn nhiều, từ đó mở rộng khả năng tiếp cận công nghệ AI. Tuy nhiên, những mô hình kiểu này đã không tạo ra được cuộc cách mạng toàn diện trong đào tạo AI như kỳ vọng, khiến công ty dần mất đi sự chú ý trong những tháng gần đây.
Admin
Nguồn: VnExpress
