Qwen3.8-Flash-Next 开源:本地部署实测
Qwen3.8-Flash-Next 已开源发布,这是一个 1250 亿参数的 MoE(混合专家)模型,每个 Token 实际激活约 61 亿参数,原生上下文窗口 26.2 万 Token,扩展后据称可达百万 Token。
- 总参数量:1250 亿(MoE 混合专家模型)
- 每 Token 实际激活参数:约 61 亿
- 原生上下文窗口:26.2 万 Token
- 扩展后上下文窗口:据称可达百万 Token
官方同步放出了 llama.cpp 可用的 GGUF 量化版本,配合 mmap 或统一内存,显存不够时可以用硬盘顶,24GB 显存的 RTX 3090 和 64GB 内存的 MacBook Pro 都能跑起来。除了能跑,它的代码生成和 Agent 能力也被拿到 Gemini Flash、Claude 3.5 系列、GPT-4o 系列等模型旁边做盲测,效果超出预期。
二、本地部署四步走
部署过程大致分四步:
- 下载模型:从 Hugging Face 下载对应量化版本的 GGUF 模型,模型文件通常分成多个分卷,按自己的显存和硬盘空间选版本,全部分卷都要下。
- 下载 llama.cpp:按系统选 Windows、macOS 或 Android 版;NVIDIA 显卡选 CUDA 版,AMD 显卡选 Vulkan 版,主程序和对应的 CUDA/Vulkan 运行库都要下载,之后把运行库文件放进 llama.cpp 目录。
- 准备模型文件夹:新建一个文件夹,把模型分卷放进去,再下载一键启动脚本,把脚本里的模型名改成自己的文件名、分卷数改对。
- 运行加载:运行脚本加载模型,看到界面加载成功即可开始对话。
第一步实操:Hugging Face 上的量化版本与分卷文件
Hugging Face 模型页会列出不同量化精度对应的显存/硬盘占用,方便按自己的硬件选版本。点进具体量化版本文件夹,可以看到模型被切成了多个 .gguf 分卷,下载时要把同一版本下的所有分卷都下全。


第二步实操:llama.cpp 的系统/显卡版本选择
llama.cpp 的 Release 页面按操作系统和显卡后端分了很多个下载包,NVIDIA 显卡对应 CUDA 版本、AMD/通用显卡对应 Vulkan 版本,选错了跑不起来。

第三、四步实操
以下用 Qwen3.8-Flash-Next 发布方 Unsloth 官方文档里的真实操作记录:一条是命令行版本的下载 + 运行命令,一条是图形界面版本(Unsloth Desktop)的选型下载和实际跑起来的界面截图。



三、本地实测表现
基础对话与代码生成
- 自我介绍:约每秒 4 个 Token
- 写一个简单的跑步游戏:约每秒 11 个 Token,整个生成过程需要几分钟到几十分钟
硬件占用方面:
- 系统内存约 60GB,几乎跑到 90%
- CPU 占用约 70%
- 24GB 显存占用约 95%
因为 llama.cpp 通过 mmap 把模型权重映射到硬盘,模型总大小超过显存也能继续跑,硬盘容量成了关键。
更复杂的 Agent 任务
只给一个提示,让它独立完成一个完整的游戏,全程没有具体指令和人工盯着,它会自己检查结果、修改错误、调整光影。
测试称其整个过程跑了将近 5 小时,累计处理约 7000 万 Token,最终稳定输出速度约 43 Token/s。
在 64GB 内存的 MacBook Pro(M 系列 Max)上,1-bit 量化版本可以跑到约每秒 30 个 Token,8 分钟的 Agent 循环里完成了 6 次网络搜索、若干工具调用和 5 个来源表格,结果一次跑通。
四、横向对比
- 对比 Gemini Flash(同样提示生成可操控的封面游戏):Qwen3.8-Flash-Next 效果更好
- 对比 Claude 3.5 Opus(同样提示做 PPT 封面模型,白色背景、模型清晰可见,涉及3D建模/动画/镜头/交互):两者输出差距不大
- 对比 Qwen 3.8 稠密版本(相同量化设置下对比):稠密版更偏重技术内容(物理计算、行星轨道、月球轨道更精准);Flash Next 更偏重体验(光照、对比度、大气光感、电影化结构、相机指令跟随更好)
在一张同时列出 Claude、GPT、Gemini 和 Qwen Flash Next 生成结果的盲测图里,不标名字已经很难一眼分出哪个是它生成的。
从这次实测看,125B 级别的 MoE 模型已经可以通过量化和硬盘 offload 在消费级硬件上跑起来,代码生成和 Agent 任务的完成度也能逼近 Claude、GPT、Gemini 等同档模型。
