X 笔记
AI长帖·

Model Router模型路由降本方案与轻量开源大模型选择

最近用 AI,我有个很明显的感觉:很多任务已经没必要一直挂着最贵的模型跑了。

Kimi K3 已经做到 2.8T 总参数、104B 激活参数、1M Token 上下文,重点加强长程编程和知识工作,GitHub Copilot 也已经正式接入。GLM 现在已经更新到 GLM-5.2,官方 API 每百万 Token 输入 $1.4、输出 $4.4。

这些模型虽然还没全面追平 GPT、Claude、Gemini 的顶级版本,但还算够用。以前便宜模型拿来做摘要、分类,现在代码、资料研究、Agent 长任务也能分走一部分。

Ramp 数据显示:今年 7 月有 6.1% 的 AI 支出企业使用 OpenRouter 这类多模型平台,一年前是 4.5%。OpenAI 和 Anthropic 的支出暂时没有明显被抢走,但新增采用速度已经放缓。

所以我觉得接下来很实用的方向是 Model Router(模型路由)。

Cloudflare 已经上线 Dynamic Routing,LiteLLM 也在做 Auto Router。

简单来说就是让简单任务交给便宜模型,难题再调用 Claude、GPT、Gemini。LiteLLM 最近一组测试中,Auto Router 做到了和 Claude Opus 5 相同的解题率,成本低 27%。

对做 AI 产品的人,这样做成本节省了不少,所以以后别再默认所有请求都跑最强模型。

分类、摘要、数据提取、普通代码先交给便宜模型,复杂推理、关键代码和最终审核再升级。

在 X 上看原帖并评论568 次浏览 · 1 赞
0x小师妹
0x小师妹 @0xshimei

AI 工具实测与币圈观察,SANYUE.AI 创始人

在 X 上关注

相关笔记