本地模型配置

Tip

AI攥写，待完善

本页介绍本地识别和翻译模型的选择、下载、启用及验证。首次配置应先完成环境配置，确认所需 PyTorch 或 llama.cpp 可用，再下载并选择权重。

本地识别负责把音频转换成文字，本地翻译负责把文字转换成另一种语言。两者可以独立选择；需要原文字幕时不必安装翻译权重，需要远程翻译时也不必为了识别而安装本地翻译模型。

识别和翻译均可使用 PyTorch 或 llama.cpp，具体取决于模型格式及加载器。推荐组合中的“识别使用 PyTorch、翻译使用 llama.cpp”只是默认选择。

用途	PyTorch	llama.cpp
语音识别	Qwen3-ASR、SenseVoiceSmall	Qwen3-ASR GGUF，需配套 mmproj 音频编码器
文本翻译	M2M100，以及已适配的 Transformers 文本生成模型	已适配的文本 GGUF 模型

导入 Qwen3-ASR GGUF 时，将主权重和同版本的 mmproj-主权重文件名.gguf 放在同一文件夹。例如 Qwen3-ASR-0.6B-Q8_0.gguf 与 mmproj-Qwen3-ASR-0.6B-Q8_0.gguf。在“模型路径”中输入或选择只包含这一组权重的文件夹，检查时会同时验证主权重和配套编码器。单独的 mmproj 不能用于识别。

自定义模型导入后，需在“配置模型”中保存语言能力，并在“设置 → 计算设备”选择与该权重匹配的引擎。原始 PyTorch 权重和 GGUF 需要各自对应的加载器；切换引擎不会自动转换权重。语言配置应依据模型卡填写，配置本身不会增加模型能力。

llama.cpp 的音频支持及配套编码器说明见官方多模态文档；PyTorch 文本模型通过 Transformers 的 AutoModelForCausalLM 加载。尚未适配的架构会在检查或加载时显示具体原因。

一、选择适合的模型

1. 先确定语言与用途

先明确音频中是什么语言、是否包含多种语言，以及需要翻译成什么语言。界面语言不参与这个判断。例如，简体中文界面可以识别英语，再翻译成日语，但前提是两端模型支持该方向。

自动检测只在模型支持时有效，不能把它当作自动获得所有语言能力的方式。目标语言也不是识别模型的属性，仍需检查翻译模型。

用途	内置模型示例	首次选择时的重点
语音识别	SenseVoiceSmall	支持中文、英语、粤语、日语和韩语；先确认音频属于这些范围
语音识别	Qwen3-ASR 0.6B／1.7B	对照语言能力和本机资源选择规模
本地翻译	Hy-MT2 1.8B／7B GGUF	需要 llama.cpp，量化档位通过权重文件区分
本地翻译	Index-Translate GGUF	使用本机文本权重，与官方公开 API 分开配置
本地翻译	M2M100 418M	使用相应 PyTorch 路径，语言方向需支持

项目的模型能力目录维护推荐预设及依据。不要仅凭 Hugging Face 的标签、模型名称或参数数量判断是否可以运行。

2. 参数规模和量化怎样理解

同一模型系列可能提供不同规模，通常会改变下载量、计算量及质量表现，但不能直接推导某台电脑上的准确率和速度。

GGUF 名称中的 Q4_K_M、Q3_K_M 等用于区分量化权重。它们是不同文件，不是同一文件运行时切换的显示模式。若想从某个量化档位换到另一个档位，需要安装并选择对应权重。

显存占用还包含缓存和同时驻留的模型。识别与翻译共享显卡时，要为两者及其他应用留空间。第一次可以选择较小组合，确认处理速度能跟上实际音源后再升级。

3. 阅读许可证

应用代码的 GPL 许可不自动覆盖模型权重。下载前查看模型卡及对应许可证，特别是再分发、商用和素材使用要求。搜索结果可以显示一个仓库，但不等于项目已为所有用途审核过该模型。

二、下载推荐模型

1. 打开模型管理

从侧栏进入“模型管理”。页面包含当前识别和翻译模型，以及推荐、已安装、搜索、下载中等区域。先确认模型用途，避免把 GGUF 翻译权重误当作音频识别模型。

图中的安装状态为演示数据。实际以本机列表为准。

2. 选择下载源

1. 找到所需模型，阅读卡片的用途、文件大小、引擎和安装状态。
2. 点击“安装”，在弹出的下载源窗口中选择可用来源。
3. 选择 Hugging Face、HF-Mirror 或该模型支持的 ModelScope 来源，然后确认。
4. 在下载区域观察进度，等待文件校验和安装完成。
5. 确认模型出现在“已安装”，再进行启用或配置。

不是每个模型都提供所有来源。软件会按该模型固定的地址、大小和摘要确认文件身份，不能因为某个同名文件下载更快就把它替换进模型目录。

图中模型支持三种来源。选择某一来源会启动对应下载，不需要先在其他网站手动取得同名文件。

3. 下载中断后的处理

失败或取消不一定丢失全部进度。已完成的大文件分块会保存在模型根目录的 .downloads 中，重新安装相同固定文件时可以复用。不同版本、大小、摘要或下载身份不应被当作同一个缓存。

关闭失败任务只移除任务显示，不等于删除分块。成功下载后清理对应缓存，长期未使用的过期缓存会在启动时清理。空间不足前可先检查缓存和模型占用，不应在不了解影响时直接删除整个模型目录。

三、启用识别模型

1. 打开“设置 → 音频与识别”。
2. 将识别“服务商”设为“本地模型”。
3. 在“识别模型”中选择已安装的模型。
4. 设置“原文语言”。已知语言时选择对应项；需要自动检测时，确认该模型支持。
5. 选择音源并完成“测试音频”。

下拉框为空时，先回到模型管理检查权重是否安装完成。模型存在但无法选中时，应检查用途、能力配置和所选引擎，不要通过手改配置强制绕过。

改变识别服务后，软件可能重置语言选择，或调整与原服务不兼容的翻译选项。切换完需要重新核对整个语言方向。

四、启用本地翻译

1. 打开“设置 → 翻译”，将“服务商”设为“本地模型”。
2. 选择已安装的翻译模型，核对原文与目标语言。
3. 在“计算设备”中确认该模型使用的本地翻译引擎与设备。
4. 需要关闭翻译时，选择不启用翻译服务；只看原文不需要额外下载翻译权重。
5. 保存设置后结束旧会话，再启动新会话验证。

某个模型不可选时，可能是它未配置、引擎不匹配或不支持当前语言方向。更换目标语言后重新检查，比反复重装完整权重更有针对性。

Hy-MT2 7B 的模板

官方 Hy-MT2 7B 预设使用独立发布的 Jinja 对话模板。模板定义模型如何理解角色和消息边界，是推理输入的一部分，不能当作普通字幕样式删除。

使用官方预设时保留其配置。换成其他 GGUF 后应重新核对模板；软件会清除不应继续套用的覆盖，不能要求所有 GGUF 都使用同一套角色标记。

Index-Translate 本地与公开 API

本地 GGUF 通过 llama.cpp 在本机推理，需要权重和资源；“哔哩哔哩 免费API”调用官方公开服务，原文会发往远程。它们不是同一个开关的两种显示名称，断网能力、费用条件和隐私边界也不同。

五、搜索与配置自定义模型

1. 搜索仓库

在模型管理的搜索区域输入模型或仓库关键词，按识别、翻译或权重格式筛选。搜索只是查询候选资源，并不表示引擎可以加载所有结果。

打开模型信息后，先阅读仓库模型卡、权重格式、许可证及兼容性说明。仓库可能同时包含多种文件，只有名字相近不能证明架构相同。

2. 检查模型配置

添加或配置时，应核对：

项目	应确认的内容
模型用途	语音识别还是文字翻译
运行引擎	PyTorch 或 llama.cpp 是否与格式匹配
支持语言	来源是否为模型官方说明
自动检测	模型确实支持，而不是为了显示选项而勾选
翻译方向	原文与目标语言是否构成有效组合

用户配置记录是软件校验的依据之一，但不会改变权重能力。将某语言手工加到列表中，不会让模型自动学会该语言。

3. 兼容性拒绝

软件可能在下载前或启动前拒绝不兼容配置。保留原因，核对模型架构和用途；不要通过改扩展名、复制其他模型配置或关闭能力检查来处理。

需要推荐新模型时，提交官方模型卡、许可证、格式与语言证据，由维护者评估是否作为预设支持。可按如何贡献准备材料。

六、完成一次验证

选择没有敏感内容的短语音，在快速同传中开始会话。检查顺序为：

1. 音频测试能听到目标内容。
2. 开始前检查通过，模型完成准备。
3. 音频播放后出现正确语言的原文。
4. 启用翻译时，译文方向与选择一致。
5. “当前运行分配”显示可接受的实际设备。
6. 正常结束后，桌面记录能再次打开。

演示页能显示字幕不代表本机模型已通过上述验证。实际推理质量应结合原音频核对，不能以示例截图作为性能结论。

七、切换和删除模型

切换模型前结束会话，等待资源释放或切换流程完成。软件可能为下次启动保留最近配置的权重，停止收音后仍有内存占用不一定是泄漏。

在模型管理中删除不再使用的权重，操作前确认没有依赖该模型的当前任务。删除某个权重不会自动安装替代模型，也不应假定删除模型会同时删除同传记录。

若只是因为语言方向不合适，先核对选择；若需要彻底释放或更换组件，则按相应设置流程操作，不直接删除正在使用的文件。

八、常见问题

现象	可能原因与处理
模型已安装，却不能启用	核对用途、能力配置、引擎和语言方向
识别正常，翻译失败	单独检查翻译权重、模板、目标语言及 llama.cpp／PyTorch
切换量化选项没有改变 GGUF	GGUF 量化由权重文件决定，需要更换对应模型
一启动就内存或显存不足	检查两模型总占用，先换较小权重或调整设备
停止后仍有内存占用	可能保留最近模型以供复用；确认是否还有后台原生任务
离线时仍出现网络错误	检查是否启用了远程翻译、备用翻译或正在下载／检查更新

本地推理只说明相应识别和翻译在本机执行。完整数据去向见隐私协议，故障材料整理见如何反馈。

九、导入已下载的模型

在模型管理页选择“本地导入”。在“模型路径”中输入或粘贴已有文件夹的完整路径，也可以点击“选择文件夹”浏览选择。文件夹中应包含完整权重、配置及 tokenizer；ASR GGUF 还需配套音频编码器。输入路径后点击“检查模型”。软件按架构、格式和必要文件检查兼容性，不限制推荐版本；自定义模型导入后需保存用途、引擎和语言配置。

尚未下载模型时，在推荐模型卡片选择“手动下载”，或在“本地导入”窗口切换到“手动下载”。选择模型版本和下载来源，在“保存位置”输入已有文件夹的完整路径，或点击“选择文件夹”，然后点击“下载模型”。软件会下载该版本所需的完整文件，保留文件名和目录结构，完成后可从该文件夹导入。

需要直接在当前电脑安装时，使用尚未安装的推荐模型卡片上的下载按钮即可。已安装的模型显示默认模型和删除操作，“手动下载”入口仍然可用。

软件检查必要文件、大小和摘要，显示缺失或损坏的文件。检查通过后选择“开始安装”，模型会复制到软件管理的目录，原文件保留。移动硬盘可以在安装完成后移除。导入不会自动切换当前使用的模型。

仅有权重还不代表可以开始同传。界面提示缺少运行组件时，按离线准备与安装准备完整离线包，或在联网电脑安装相应组件。Qwen3 等快照模型的配套文件以清单为准；Hy-MT2 7B 的专用对话模板已内置于应用，只需下载清单中的 GGUF。