引擎待命 · 请先在左侧加载模型
TTFT:
--
速度:
-- tok/s
Tokens:
0
在浏览器中原生运行 Qwen 7B
依托 WebGPU 硬件加速与 MLC 编译技术,无需后端服务器、无需 API Key,所有推理与对话均在您的本地显卡上完成。
01. 选择模型
默认 Qwen2.5-7B
显存小于 6GB 可选 3B 或 1.5B 版本
02. 初始化引擎
点击左侧加载按钮
首次下载权重并编译 WebGPU 着色器
03. 隐私对话
100% 本地推理
支持代码高亮、流式输出与实时测速
加载模型后,点击下方示例快速提问:
Enter 发送 · Shift + Enter 换行