欢迎 Le Chonk:Hugging Face 上的 Mistral Large 4
Hugging Face 介绍了 Mistral Large 4(“Le Chonk”),这是一款支持文本和图像的稀疏专家模型,总参数约 1 万亿、激活参数 490 亿,上下文窗口为 100 万 token。提供 FP8 和 NVFP4 版本,transformers、vLLM 和 llama.cpp 首日即支持。
文章要点
Hugging Face 于2026年10月29日发布文章,介绍绰号“Le Chonk”的 Mistral Large 4。这是一个多模态、多语言的混合专家模型,输入文本和图像,输出文本;总参数约1万亿,激活参数490亿,上下文窗口为100万词元。
权重提供 FP8 和 NVFP4 两个版本,另有 Unsloth 与 llama.cpp 团队制作的 GGUF,采用 Mistral Ecosystem Open-Weight 许可证,该许可证源自 MIT,但对“模型即服务”类产品有限制。Transformers、vLLM 和 llama.cpp 首日即提供支持,Inference Endpoints 与 Dell Enterprise Hub 也已接入。文章详细介绍了架构、网络安全与编程方面的成绩,以及推理和使用 TRL 微调的示例。
本摘要由 AnnuIA 根据 Hugging Face 官方页面用自己的话撰写。内容及版权归发布方所有,请阅读原文。