X 笔记
AIX 文章·

Qwen3.8-Flash-Next 开源:本地部署实测

Qwen3.8-Flash-Next 已开源发布,这是一个 1250 亿参数的 MoE(混合专家)模型,每个 Token 实际激活约 61 亿参数,原生上下文窗口 26.2 万 Token,扩展后据称可达百万 Token。

  • 总参数量:1250 亿(MoE 混合专家模型)
  • 每 Token 实际激活参数:约 61 亿
  • 原生上下文窗口:26.2 万 Token
  • 扩展后上下文窗口:据称可达百万 Token

官方同步放出了 llama.cpp 可用的 GGUF 量化版本,配合 mmap 或统一内存,显存不够时可以用硬盘顶,24GB 显存的 RTX 3090 和 64GB 内存的 MacBook Pro 都能跑起来。除了能跑,它的代码生成和 Agent 能力也被拿到 Gemini Flash、Claude 3.5 系列、GPT-4o 系列等模型旁边做盲测,效果超出预期。

二、本地部署四步走

部署过程大致分四步:

  1. 下载模型:从 Hugging Face 下载对应量化版本的 GGUF 模型,模型文件通常分成多个分卷,按自己的显存和硬盘空间选版本,全部分卷都要下。
  2. 下载 llama.cpp:按系统选 Windows、macOS 或 Android 版;NVIDIA 显卡选 CUDA 版,AMD 显卡选 Vulkan 版,主程序和对应的 CUDA/Vulkan 运行库都要下载,之后把运行库文件放进 llama.cpp 目录。
  3. 准备模型文件夹:新建一个文件夹,把模型分卷放进去,再下载一键启动脚本,把脚本里的模型名改成自己的文件名、分卷数改对。
  4. 运行加载:运行脚本加载模型,看到界面加载成功即可开始对话。

第一步实操:Hugging Face 上的量化版本与分卷文件

Hugging Face 模型页会列出不同量化精度对应的显存/硬盘占用,方便按自己的硬件选版本。点进具体量化版本文件夹,可以看到模型被切成了多个 .gguf 分卷,下载时要把同一版本下的所有分卷都下全。

Qwen3.8-Flash-Next 开源:本地部署实测Qwen3.8-Flash-Next 开源:本地部署实测

第二步实操:llama.cpp 的系统/显卡版本选择

llama.cpp 的 Release 页面按操作系统和显卡后端分了很多个下载包,NVIDIA 显卡对应 CUDA 版本、AMD/通用显卡对应 Vulkan 版本,选错了跑不起来。

Qwen3.8-Flash-Next 开源:本地部署实测

第三、四步实操

以下用 Qwen3.8-Flash-Next 发布方 Unsloth 官方文档里的真实操作记录:一条是命令行版本的下载 + 运行命令,一条是图形界面版本(Unsloth Desktop)的选型下载和实际跑起来的界面截图。

Qwen3.8-Flash-Next 开源:本地部署实测Qwen3.8-Flash-Next 开源:本地部署实测Qwen3.8-Flash-Next 开源:本地部署实测

三、本地实测表现

基础对话与代码生成

  • 自我介绍:约每秒 4 个 Token
  • 写一个简单的跑步游戏:约每秒 11 个 Token,整个生成过程需要几分钟到几十分钟

硬件占用方面:

  • 系统内存约 60GB,几乎跑到 90%
  • CPU 占用约 70%
  • 24GB 显存占用约 95%

因为 llama.cpp 通过 mmap 把模型权重映射到硬盘,模型总大小超过显存也能继续跑,硬盘容量成了关键。

更复杂的 Agent 任务

只给一个提示,让它独立完成一个完整的游戏,全程没有具体指令和人工盯着,它会自己检查结果、修改错误、调整光影。

测试称其整个过程跑了将近 5 小时,累计处理约 7000 万 Token,最终稳定输出速度约 43 Token/s。

在 64GB 内存的 MacBook Pro(M 系列 Max)上,1-bit 量化版本可以跑到约每秒 30 个 Token,8 分钟的 Agent 循环里完成了 6 次网络搜索、若干工具调用和 5 个来源表格,结果一次跑通。

四、横向对比

  • 对比 Gemini Flash(同样提示生成可操控的封面游戏):Qwen3.8-Flash-Next 效果更好
  • 对比 Claude 3.5 Opus(同样提示做 PPT 封面模型,白色背景、模型清晰可见,涉及3D建模/动画/镜头/交互):两者输出差距不大
  • 对比 Qwen 3.8 稠密版本(相同量化设置下对比):稠密版更偏重技术内容(物理计算、行星轨道、月球轨道更精准);Flash Next 更偏重体验(光照、对比度、大气光感、电影化结构、相机指令跟随更好)

在一张同时列出 Claude、GPT、Gemini 和 Qwen Flash Next 生成结果的盲测图里,不标名字已经很难一眼分出哪个是它生成的。

从这次实测看,125B 级别的 MoE 模型已经可以通过量化和硬盘 offload 在消费级硬件上跑起来,代码生成和 Agent 任务的完成度也能逼近 Claude、GPT、Gemini 等同档模型。

在 X 上看原帖并评论1,345 次浏览 · 9 赞
0x小师妹
0x小师妹 @0xshimei

AI 工具实测与币圈观察,SANYUE.AI 创始人

在 X 上关注

相关笔记