Quá trình ra mắt
Công ty Trung Quốc Moonshot AI đưa Kimi K3 lên API và ứng dụng ngày 16/7/2026, hứa mở trọng số trước cuối tháng. Ngày 27/7, tại "Kimi K3 Open Day", hãng công bố trọng số, báo cáo kỹ thuật và ba dự án hạ tầng trên GitHub (MoonshotAI/Kimi-K3).
Con số chính
- 2,8 nghìn tỷ tham số theo kiến trúc Mixture-of-Experts, kích hoạt 16 trên 896 chuyên gia mỗi token.
- Cửa sổ ngữ cảnh 1 triệu token, nhận văn bản, hình ảnh và video gốc.
- Kỹ thuật mới Kimi Delta Attention (KDA) và Attention Residuals, theo hãng giúp tăng khoảng 2,5 lần hiệu quả mở rộng so với Kimi K2.
- Huấn luyện nhận biết lượng tử hóa MXFP4 từ giai đoạn SFT.
- Mã nguồn mở đi kèm: MoonEP (truyền thông MoE), FlashKDA (kernel) và AgentEnv (sandbox cho agent).
Trong benchmark do Moonshot công bố, K3 tiệm cận các mô hình đóng hàng đầu và dẫn đầu một số bài kiểm tra agent như BrowseComp và MCPMark. Đây là số liệu của hãng, cần kiểm chứng độc lập.
Lưu ý
Trọng số phát hành theo Kimi K3 License, không phải giấy phép chuẩn như MIT hay Apache. Dùng thương mại ngoài phạm vi cho phép cần đọc kỹ điều khoản. Vận hành mô hình cỡ này cần cụm GPU cao cấp, nên "mở" không có nghĩa là "rẻ".
Vì sao quan trọng
Theo Moonshot, đây là mô hình mở đầu tiên ở cấp 3 nghìn tỷ tham số, củng cố cuộc đua trọng số mở của các phòng thí nghiệm Trung Quốc.