MiMo-7B là mô hình ngôn ngữ lớn mã nguồn mở đầu tiên của Xiaomi, được thiết kế chuyên cho các tác vụ suy luận và lập trình.

Xiaomi vừa âm thầm bước chân vào lĩnh vực mô hình ngôn ngữ lớn (LLM) với MiMo-7B – hệ thống AI mã nguồn mở đầu tiên của hãng. Được phát triển bởi nhóm mới thành lập mang tên Big Model Core Team, MiMo-7B tập trung đặc biệt vào các tác vụ yêu cầu khả năng suy luận và đã vượt qua các đối thủ đến từ OpenAI và Alibaba trong các bài kiểm tra suy luận toán học và sinh mã.

Như tên gọi, MiMo-7B là một mô hình có 7 tỷ tham số. Dù có quy mô nhỏ hơn đáng kể so với hầu hết các LLM hàng đầu, Xiaomi khẳng định MiMo-7B có hiệu năng ngang ngửa với các hệ thống lớn hơn như o1-mini của OpenAI và Qwen-32B-Preview của Alibaba – đều là những mô hình có khả năng suy luận.

Cốt lõi của MiMo-7B nằm ở quy trình huấn luyện chặt chẽ. Xiaomi cho biết họ đã xây dựng một tập dữ liệu đậm đặc gồm 200 tỷ token thiên về suy luận và cung cấp tổng cộng 25 nghìn tỷ token qua ba giai đoạn huấn luyện.

Hãng cũng áp dụng mục tiêu dự đoán nhiều token cùng lúc thay vì chỉ dự đoán token kế tiếp như truyền thống, giúp rút ngắn thời gian suy diễn mà không làm giảm chất lượng đầu ra.

Giai đoạn hậu huấn luyện bao gồm các kỹ thuật học tăng cường (reinforcement learning) kết hợp với cải tiến về hạ tầng. Xiaomi sử dụng một thuật toán tùy chỉnh mang tên "Test Difficulty Driven Reward" để giải quyết vấn đề tín hiệu phần thưởng khan hiếm – vốn là rào cản trong các tác vụ RL phức tạp. Đồng thời, hãng triển khai phương pháp "Easy Data Re-Sampling" để ổn định quá trình huấn luyện.

Về hạ tầng, Xiaomi xây dựng hệ thống triển khai Seamless Rollout nhằm giảm thời gian chết của GPU trong lúc huấn luyện và đánh giá. Kết quả, theo nội bộ Xiaomi, là tốc độ huấn luyện tăng gấp 2,29 lần và hiệu suất đánh giá tăng gần gấp đôi.

Công cụ này cũng hỗ trợ các chiến lược suy diễn như dự đoán nhiều token trong môi trường vLLM.

Hiện tại, MiMo-7B được công bố với bốn phiên bản công khai. Phiên bản đầu tiên là Base, đây là mô hình gốc đã được huấn luyện sơ bộ. Tiếp theo là SFT, một phiên bản đã được tinh chỉnh bằng dữ liệu có giám sát. Phiên bản thứ ba mang tên RL-Zero, được phát triển dựa trên mô hình Base thông qua phương pháp học tăng cường. Cuối cùng là phiên bản RL, được tinh chỉnh sâu hơn từ SFT và được đánh giá là có độ chính xác cao nhất trong số bốn phiên bản.

Xiaomi cũng công bố các kết quả benchmark để chứng minh năng lực: trong lĩnh vực toán học, phiên bản MiMo-7B-RL đạt 95,8% trên bộ dữ liệu MATH-500 và hơn 68% trên AIME 2024. Trong lập trình, mô hình đạt 57,8% trên LiveCodeBench v5 và gần 50% trên phiên bản 6. Với các tác vụ kiến thức tổng quát như DROP, MMLU-Pro và GPQA, điểm số đạt mức trung bình đến cao 50 – rất đáng kể với một mô hình 7B.

MiMo-7B hiện đã được phát hành trên nền tảng Hugging Face theo giấy phép mã nguồn mở.