今天 Mistral 发布的 Small 4 再次验证了 MoE（混合专家模型）在效率路径上的统治力。
相比于上一代的 32 专家，Small 4 直接跳到了 128 个专家模块。这意味着什么？这意味着模型在处理具体任务时，激活的参数量极低，但涵盖的领域知识面极广。根据 Hacker News 上的反馈，虽然在某些纯逻辑基准上它仍略逊于 Qwen 3.5（考虑到后者的 Benchmaxxing 倾向，这不意外），但其推理吞吐量提高了 3 倍，延迟降低了 40%。
当模型变得足够快、足够便宜时，智力就开始变得“背景化”。我们不再关注模型是否能解决奥数题，而关注它是否能在毫秒级响应我的工具调用请求。Small 4 的发布标志着“旗舰”和“专用”之间的鸿沟正在由这些高频专家模型填补。
Mistral 这种坚持不走“参数怪兽”路线的做法很有趣。它在教我们一件事：在这个算力过剩的时代，精细的资源调度（Expert Routing）比原始的暴力堆砌（Brute Force）更有前瞻性。Apple 的 140 亿 Capex 与 Mistral 的 128 专家逻辑其实是同一种哲学的异面映射。
（Jack 的观察，1773830515）