Theo báo cáo từ Grand View Research, quy mô thị trường mô hình ngôn ngữ lớn toàn cầu đã ước tính đạt 5.617 triệu USD năm 2024 và dự kiến ​ tăng trưởng với tốc độ tăng trưởng kép hàng năm (CAGR) là 36,9% từ năm 2025 tới 2030. Trong lúc đó, thế giới cũng ngày càng quan tâm tới AI với sự chú ý tập trung nhiều vào các quốc gia có nhiều nhà phát triển mô hình AI hàng đầu như Mỹ và Trung Quốc.

Khu vực Đông Nam Á ít được quan tâm hơn, nhưng cũng đang cho thấy những bước tiến mạnh mẽ. Dù hạn chế về nguồn dữ liệu so với các ngôn ngữ phổ biến toàn cầu như tiếng Anh, tiếng Trung, các doanh nghiệp trong khu vực đã bắt đầu nắm bắt cơ hội xây dựng các LLM của riêng mình. Cụ thể, Singapore đã cho ra mắt mô hình đầu tiên của quốc gia này mang tên SEA-LION LLM với 13% tập dữ liệu được đào tạo bằng các ngôn ngữ Đông Nam Á.

Tại Việt Nam, Zalo đã xây dựng mô hình AI nội địa và cho ra mắt lần đầu tiên vào năm 2023. Với mục tiêu tự chủ công nghệ AI, đồng thời giảm phụ thuộc vào công nghệ của nước ngoài, mô hình với 13 tỷ tham số đã được Zalo phát triển bằng kỹ thuật huấn luyện từ đầu - triển khai tất cả quy trình từ khởi tạo tham số, quyết định kiến trúc mô hình tới thuật toán huấn luyện trên tập dữ liệu nhất định.

Kỹ thuật huấn luyện này giúp người Việt làm chủ và kiểm soát toàn bộ quá trình huấn luyện cũng như mô hình. Tới nay, sự ra đời của mô hình này đã đưa Việt Nam trở thành một trong số ít quốc gia ở khu vực Đông Nam Á sở hữu LLM nội địa.

 

 

Không sở hữu tiềm lực như các công ty công nghệ lớn trên thế giới, giai đoạn đầu phát triển mô hình ngôn ngữ lớn của Việt Nam gặp khá nhiều khó khăn. Bên cạnh vấn đề thiếu hụt dữ liệu do tiếng Việt cũng được xếp vào nhóm có tài nguyên dữ liệu nghèo nàn hơn hàng chục lần so với tiếng Anh hay tiếng Trung, các kỹ sư Việt cũng chưa được trang bị đầy đủ hạ tầng máy chủ cần thiết.

Trong khi đó, các công ty lớn trên thế giới đã sở hữu hàng nghìn GPU mới nhất từ Nvidia. Đặc biệt, Việt Nam cũng có những hạn chế về nguồn lực con người và kinh nghiệm huấn luyện mô hình LLM khi so sánh với các quốc gia phát triển trên thế giới.

Dù vậy, Zalo vẫn có chiến lược phát triển phù hợp giúp từng bước tháo gỡ khó khăn. Nhờ trang bị hạ tầng tính toán với 8 máy chủ DGX H100, mô hình LLM của Zalo đã được phát triển trực tiếp bằng dòng GPU mới và khan hiếm nhất của Nvidia lúc đó với hiệu suất lên đến 256 petaFLOPS (FLoating-point Operations Per Second - một petaFLOP tương đương với 10 triệu tỷ phép tính/giây).

Zalo cũng tăng cường phát triển dữ liệu tiếng Việt để bù đắp sự thiếu hụt của thị trường, đồng thời trang bị kiến thức và năng lực huấn luyện LLM cho các kỹ sư Việt thông qua hàng loạt nghiên cứu thực hiện trên các GPU dân dụng nhỏ. Từ đó tạo nền tảng sẵn sàng ngay khi sở hữu hạ tầng tính toán lớn hơn sau này.

 

 

Định hướng phát triển đúng đắn đã giúp Zalo phát triển thành công mô hình ngôn ngữ lớn với 7 tỷ tham số tập trung vào tiếng Việt chỉ sau 6 tháng huấn luyện vào năm 2023, đạt 150% năng lực so với GPT3.5 của OpenAI theo đánh giá của VMLU - Nền tảng đánh giá và xếp hạng năng lực tiếng Việt của các LLM (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models).

 

 

Tới hết năm 2024, mô hình ngôn ngữ lớn của Zalo đã vươn lên vị trí số 2 trên bảng xếp hạng các mô hình được huấn luyện từ đầu của VMLU. Cụ thể, mô hình chỉ xếp sau Llama-3-70B của Meta, chính thức vượt qua các tên tuổi lớn như GPT-4 (OpenAI), gemma-2-9b-it (Google), microsoft/Phi-3-small-128k-instruct (Microsoft).

 

 

“Mặc dù xuất phát điểm gặp nhiều khó khăn so với các công ty lớn trên thế giới, nhưng Zalo vẫn quyết định nhập cuộc chơi từ sớm với mục tiêu phát triển thành công mô hình AI của riêng Việt Nam. Chúng tôi đã tham vấn kinh nghiệm từ các nhà nghiên cứu, kỹ sư tại nhiều viện nghiên cứu hàng đầu trên thế giới để có chiến lược phát triển phù hợp. Những dấu mốc thành công tới hiện tại là động lực để các kỹ sư Zalo tiếp tục tối ưu mô hình lớn hơn về lượng và tốt hơn về chất”, TS Nguyễn Trường Sơn, Giám đốc Khoa học tại Zalo AI.

(Nguồn: https://znews.vn/)