看懂本地模型的参数量与格式
挑选本地模型时，不必被复杂的后缀字母困扰。下载前最核心的三个判断标准是：它支持你要做的任务吗？你的电脑硬件跑得动吗？磁盘空间装得下吗？ 模型名称里的参数量和量化标签只是辅助你权衡速度与质量的参考指标。
1. 核心指标速查表
| 指标名称 | 常见标识示例 | 对实际使用的真实影响 |
|---|---|---|
| 参数量（Parameters） | 1.8B、7B、14B | 代表模型规模（B 即十亿参数）。参数越大通常通用理解力越强，但占用内存更多、生成更慢；翻译或简单摘要等特定任务，小参数专用模型往往更快更合适。 |
| 量化精度（Quantization） | 4-bit、8-bit、Q4_K_M | 模型权重的压缩存储精度。降低位数能显著减小文件体积和内存占用，但可能轻微损失输出质量；同一模型的不同量化版本需分别核对硬件要求。 |
| 文件大小（File Size） | 4.2 GB | 下载所需的网络流量与磁盘存储预算。注意：磁盘文件大小不能直接等同于运行时的实际内存（RAM/显存）峰值占用。 |
| 运行格式与引擎 | GGUF、MLX 等 | 决定当前 OmniProxy 版本能否加载该文件。注意：支持某种文件格式（如 GGUF），不代表市面上所有采用该格式封装的模型架构都能直接运行。 |
| 任务能力（Capabilities） | 对话、翻译、语音、图像 | 模型训练时具备的专长。下载前必须核对具体条目支持的能力，不能指望纯文本模型看图或朗读。 |
| 设备适用性提示 | 可执行 / 设备不支持 | 系统根据你当前电脑配置给出的运行条件评估。显示适用仅代表满足基础加载门槛，仍需下载后通过真实调用测试确认生成质量与速度。 |
注意：同一个模型家族（例如同名的某代开源模型）通常会发布多种不同的工件格式与量化精度版本。在 OmniProxy 模型目录中选择时，请逐一核对具体工件条目，不要把其他软件里名字相似的模型文件直接当成完全等价的可替代版本。
2. 挑选与验证本地模型的推荐步骤
- 先定任务，再找模型：先明确你的具体需求（例如“将英文技术短文翻译成中文”或“本地代码补全”），再去目录中按任务类别筛选，而不是盲目挑选体积最大的模型。
- 核对硬件与许可：在模型目录详情中阅读设备适用性提示、具体工件大小与开源许可证要求。
- 检查存储空间：确认“默认下载位置”（或已授权的外置移动硬盘/NAS）处于在线状态且剩余空间充足，再点击下载。
- 用代表性样本做实测：下载校验完成后，打开该模型的调用测试，输入一段贴近你日常真实场景的短样本，亲自观察生成内容的质量、首字响应速度与电脑资源占用。
- 通过验证后再加入代理：确认输出质量与速度均满足要求后，再将其加入代理供外部 AI 工具调用。
注意：“通过设备条件筛选”、“完成目录登记”和“模型成功加载”各自只验证了一个环节，只有亲手跑通代表性样本的调用测试，才算真正准备就绪。完整操作流程请参阅下载与管理本地模型。