01
Qwen 3.8 Flash Next(125B参数)现在可以在消费级显卡(如RTX 4090,12GB以上)上以约100 token/秒的速度运行。该系统通过Strata工具实现,将模型压缩到局部推理格式,利用CPU和RAM协同显卡处理,将24,576个专家团队按需调度,显卡缓存常用专家,其余从RAM和SSD读取,采用“猜测后校验”策略加速推理。在32K上下文场景下,首条消息约1分钟加载,其余消息秒级响应。此举意味着开发者无需依赖云端服务器即可本地部署对话、编程和图像处理的大模型,显著降低使用成本,但首次运行需数分钟加载且对硬件资源有较高要求。











