Đội ngũ kỹ sư Zalo đã phát triển thành công một mô hình ngôn ngữ lớn (LLM) với 13 tỷ tham số, hiện đang được ứng dụng rộng rãi trong nhiều sản phẩm thực tế. Một trong số đó là trợ lý ảo Kiki Info, hoạt động như một tài khoản chính thức (OA) trên Zalo, cung cấp nhiều tính năng hữu ích cho người dùng.
Kiki Info nổi bật với khả năng trả lời đa dạng các câu hỏi thuộc nhiều lĩnh vực như khoa học, lịch sử và luật giao thông. Bên cạnh đó, trợ lý ảo này còn hỗ trợ sáng tạo nội dung, bao gồm soạn văn bản, email và các bài đăng trên mạng xã hội. Tính năng giải trí cũng được tích hợp, với khả năng gợi ý địa điểm du lịch, âm nhạc và sách phù hợp với sở thích của người dùng. Theo thống kê từ đội ngũ phát triển, Kiki Info đã thu hút hơn một triệu lượt truy cập vào tài khoản OA trên Zalo chỉ trong vòng hai tháng.
Một ứng dụng AI khác cũng rất thành công là thiệp AI, đã có tới 15 triệu thiệp được tạo và gửi đi chỉ trong vòng hai tháng. Ứng dụng này cho phép người dùng dễ dàng gửi những lời chúc ý nghĩa đến người thân và bạn bè trong các dịp lễ đặc biệt. Người dùng đánh giá cao các ứng dụng này vì chúng giúp tiết kiệm thời gian tìm kiếm thông tin và đưa ra quyết định nhanh chóng hơn, đồng thời hỗ trợ kết nối các mối quan hệ một cách sáng tạo.
Mô hình LLM của Zalo được xây dựng bằng kỹ thuật huấn luyện từ đầu, bao gồm tất cả các giai đoạn từ khởi tạo tham số, thiết kế kiến trúc mô hình đến phát triển thuật toán huấn luyện trên bộ dữ liệu chuyên biệt. Đến cuối năm 2024, mô hình này đã đạt vị trí thứ hai trên bảng xếp hạng VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), một nền tảng đánh giá năng lực tiếng Việt của các LLM. Mô hình của Zalo được xếp hạng cao trong số các mô hình được huấn luyện từ đầu, chỉ đứng sau Llama-3-70B của Meta và vượt qua các đối thủ lớn như GPT-4 của OpenAI, gemma-2-9b-it của Google và microsoft/Phi-3-small-128k-instruct của Microsoft.
Đội ngũ phát triển Zalo chia sẻ rằng đây là một thành công đáng tự hào đối với một mô hình do người Việt phát triển, đặc biệt khi phải đối mặt với nhiều thách thức ban đầu. Trong giai đoạn đầu, các tập đoàn công nghệ lớn trên thế giới đã có sẵn hệ thống GPU hiện đại từ Nvidia để phục vụ quá trình huấn luyện. Trong khi đó, cơ sở hạ tầng máy chủ tại Việt Nam còn hạn chế. Tiếng Việt cũng được xem là một ngôn ngữ có nguồn tài nguyên dữ liệu ít hơn so với tiếng Anh hay tiếng Trung. Ngoài ra, Việt Nam cũng gặp phải những khó khăn về nguồn nhân lực và kinh nghiệm trong việc huấn luyện LLM so với các quốc gia phát triển.
Để vượt qua những khó khăn này, Zalo đã đầu tư vào cơ sở hạ tầng tính toán với 8 máy chủ DGX H100. Mô hình LLM được phát triển trực tiếp trên dòng GPU mới và mạnh mẽ nhất của Nvidia, với hiệu suất lên đến 256 petaFLOPS (FLoating-point Operations Per Second). Một petaFLOP tương đương với 10 triệu tỷ phép tính mỗi giây.
Bên cạnh đó, Zalo cũng chú trọng phát triển dữ liệu huấn luyện để bù đắp sự thiếu hụt về nguồn dữ liệu tiếng Việt. Thông qua nhiều nghiên cứu được thực hiện trên các GPU dân dụng nhỏ, các kỹ sư của Zalo đã tích lũy kiến thức và năng lực huấn luyện LLM, tạo dựng nền tảng vững chắc để sẵn sàng khi có được cơ sở hạ tầng tính toán lớn.
Nhờ định hướng đúng đắn, Zalo đã phát triển thành công mô hình ngôn ngữ lớn với 7 tỷ tham số, tập trung vào tiếng Việt, chỉ sau 6 tháng huấn luyện. Ra mắt vào năm 2023, mô hình này đã đạt năng lực vượt trội, cao hơn 150% so với GPT3.5 của OpenAI trên bộ tiêu chuẩn VMLU.
Theo Zalo, công ty sẽ tiếp tục đầu tư vào việc huấn luyện mô hình LLM để mang đến nhiều ứng dụng AI hữu ích hơn cho người dùng. Đại diện Zalo nhấn mạnh: “Chúng tôi hướng tới việc làm chủ AI tiên tiến, đóng góp vào kỷ nguyên phát triển công nghệ của đất nước, dựa trên định hướng về khoa học, công nghệ, đổi mới sáng tạo và chuyển đổi số quốc gia.”
Admin
Nguồn: VnExpress
