sparkle/models/README.md

模型与专家数据（不入库，请本机下载/生成）

为什么要做

目标不是「把 80B 常驻塞进 64G」，而是用本机 64G 统一内存 做压力验证：把约 77G 专家权重 以流式专家池压到约 33G 常驻，在 8bit 下跑通 Qwen3-Next-80B-A3B。

验证点对应下游的 黄金拐点：Qwen3 30B 8bit A3B 一类模型，用同一套流式装载思路，能放进 32G / 16G 统一内存机器，相对「整模进内存」可 节省 50% 以上统一内存。本仓库的 80B @ 64G 是这条路径的上限探针；量产形态落在更小机型上的 30B 拐点模型。

---

运行依赖版本

权重本身不绑版本，但本仓库预编译扩展与锁文件对齐如下（换版本可能无法 import native_moe_ext 或加载 8bit）：

项	要求 / 已验证
Python	3.14.*（已验证 3.14.6；须匹配 native_moe_ext.cpython-314-darwin.so）
mlx	>=0.31（锁文件 0.31.2）
mlx-lm	>=0.31（锁文件 0.31.3）
numpy	>=2.0（锁文件 2.4.6）
fastapi	>=0.115（锁文件 0.140.0）
uvicorn	>=0.30（锁文件 0.51.0）
textual	>=0.80（锁文件 8.2.8）

安装：在仓库根目录 uv sync（或使用已有 .venv）。完整约束见根目录 pyproject.toml / uv.lock。换 Python 小版本需 make -C native/ext native_moe_ext 重编 .so。

权重体积约 160GB，不进 Git。按下面准备后目录应类似：

models/
├── Qwen3-Next-80B-A3B-Instruct-MLX-8bit/   # ~79GB 主模型
├── experts_8bit_g64/                         # ~77GB 专家 blob（运行时常驻约 33G）
└── qn_mtp_weights.safetensors                # ~3.1GB MTP

下载（NAS）

全部模型与专家数据从 NAS 共享下载：

• 链接：https://ug.link/dxp4800plus-8761/filemgr/share-download/?id=86b004b90f4a477e84c7f65c87943b2f
• 密码：sparkle

解压/放置到本仓库 models/ 下，目录结构与上文一致即可。

说明：本仓库当前跑通的是 80B 探针；包内若含 Qwen3-30B-A3B-Instruct-2507-MLX-8bit，供下游 16G/32G 机型对照，不替代本机 80B 数据准备。

可选

prefix_snapshots/ 会在首次跑通后自动生成，可不预置。