Từ năm 2023, Zalo đã chính thức giới thiệu mô hình ngôn ngữ lớn (LLM) chuyên biệt cho tiếng Việt, một bước tiến quan trọng do đội ngũ kỹ sư Việt Nam nghiên cứu và phát triển hoàn toàn. Trong bối cảnh phát triển AI, có hai phương pháp huấn luyện LLM chính: tinh chỉnh (fine-tuned model) và huấn luyện từ đầu (from-scratch model). Tinh chỉnh là việc tối ưu hóa các LLM đã được huấn luyện trước đó cho các mục đích cụ thể, trong khi huấn luyện từ đầu đòi hỏi xây dựng toàn bộ quy trình, từ khởi tạo tham số đến thuật toán huấn luyện, trên một tập dữ liệu xác định.
Mặc dù tinh chỉnh mang lại lợi thế về triển khai dễ dàng, tiết kiệm tài nguyên và hiệu quả, đặc biệt quan trọng trong bối cảnh hạn chế về thiết bị và dữ liệu tại Việt Nam, Zalo đã quyết định lựa chọn phương pháp huấn luyện từ đầu. Quyết định này cho phép Zalo kiểm soát toàn bộ quá trình huấn luyện và mô hình, đưa Việt Nam trở thành một trong số ít quốc gia ở Đông Nam Á sở hữu LLM nội địa.
Khi ra mắt vào năm 2023, mô hình ngôn ngữ lớn 7 tỷ tham số của Zalo đã vượt trội hơn 150% so với GPT-3.5 của OpenAI trên bộ tiêu chuẩn đánh giá năng lực LLM tiếng Việt VMLU. Đáng chú ý, thời gian huấn luyện chỉ mất 6 tháng, nhanh hơn nhiều so với dự kiến ban đầu là 18 tháng, một kết quả gây bất ngờ cho chính đội ngũ phát triển. Đến năm 2024, mô hình 13 tỷ tham số của Zalo tiếp tục khẳng định vị thế khi vượt qua nhiều tên tuổi lớn như GPT-4 (OpenAI), Gemma-2-9b-it (Google), và Microsoft/Phi-3-small-128k-instruct (Microsoft), chỉ xếp sau Llama-3-70B (Meta) trên bảng xếp hạng VMLU.
Đại diện Zalo nhấn mạnh rằng, thành tựu này chứng minh năng lực phát triển mô hình AI của Việt Nam, đặc biệt trong bối cảnh ban đầu gặp nhiều khó khăn.
Tuy nhiên, hành trình phát triển LLM của Zalo không hề dễ dàng. Theo Zalo, ba yếu tố then chốt trong huấn luyện LLM là thiết bị, dữ liệu và trình độ kỹ thuật, và Việt Nam đều gặp thách thức ở cả ba yếu tố này. Trong khi các tập đoàn lớn trên thế giới sở hữu hàng nghìn GPU hiệu năng cao, các kỹ sư Việt Nam còn thiếu cơ sở hạ tầng máy chủ cần thiết. Tiếng Việt cũng là một ngôn ngữ có nguồn dữ liệu hạn chế so với tiếng Anh hay tiếng Trung. Hơn nữa, nguồn nhân lực và kinh nghiệm huấn luyện LLM tại Việt Nam còn nhiều hạn chế so với các quốc gia phát triển.
Để vượt qua những khó khăn này, đội ngũ Zalo đã nghiên cứu và thử nghiệm trên các GPU dân dụng nhỏ để tích lũy kiến thức và kỹ năng, sẵn sàng cho việc huấn luyện khi có hạ tầng tính toán lớn hơn. Do tình trạng khan hiếm chip AI, dù đã đặt mua 8 máy chủ DGX H100 của Nvidia, Zalo vẫn phải chờ đợi bàn giao theo từng đợt. Việc tối ưu hóa hạ tầng tính toán chưa hoàn thiện để tận dụng tối đa thời gian huấn luyện cũng là một bài toán nan giải. Bên cạnh đó, Zalo cũng chú trọng phát triển dữ liệu huấn luyện chất lượng cao để bù đắp cho sự thiếu hụt về nguồn dữ liệu tiếng Việt.
Tiến sĩ Nguyễn Trường Sơn, Giám đốc Khoa học tại Zalo AI, chia sẻ rằng, dù xuất phát điểm khó khăn so với các công ty lớn trên thế giới, Zalo vẫn quyết tâm phát triển mô hình AI của riêng Việt Nam. Đơn vị đã tham vấn ý kiến từ các nhà nghiên cứu và kỹ sư hàng đầu trên thế giới để xây dựng chiến lược phát triển phù hợp. Ông Sơn khẳng định, những thành quả đạt được là động lực để các kỹ sư Zalo tiếp tục tối ưu hóa mô hình, tạo ra nhiều sản phẩm AI đạt chuẩn quốc tế cho người Việt.
Nhờ sự thích ứng linh hoạt trong giai đoạn đầu phát triển, Zalo đã từng bước đạt được những dấu mốc quan trọng. Mô hình AI của Zalo không chỉ được đánh giá cao về mặt nghiên cứu và huấn luyện, mà còn được ứng dụng rộng rãi, mang lại giá trị thiết thực cho người dùng Việt Nam.
Đầu năm 2025, Zalo đã ra mắt Trợ lý hỏi đáp tổng hợp Kiki Info, hoạt động trên nền tảng Zalo OA (Official Account). Trợ lý này hỗ trợ người dùng trong nhiều lĩnh vực khác nhau, từ giải đáp thắc mắc đến sáng tạo nội dung và giải trí. Chỉ trong vòng chưa đầy hai tháng, Kiki Info đã thu hút được 1 triệu lượt người dùng truy cập.
Một ứng dụng thành công khác của mô hình LLM Zalo là Thiệp AI, với 15 triệu thiệp được tạo và gửi đi trong cùng khoảng thời gian. Ứng dụng này được đông đảo người dùng yêu thích để gửi lời chúc đến người thân và bạn bè trong các dịp lễ quan trọng.
Zalo tiếp tục mở rộng và phát triển các ứng dụng từ mô hình ngôn ngữ lớn, với mục tiêu mang lại nhiều giá trị hữu ích hơn nữa cho người dùng.
Admin
Nguồn: VnExpress
