性能与加速

每个引擎都运行在服务器自己的进程里，基于 Mizuoto 的运行时（torch）。默认设置在任何机器上都能运行。本页介绍决定模型放在哪里、保留多久的设置，可以额外开启的加速项（注意力后端、compute.fast、compute.compile），以及等待中的请求如何合并。默认设置让每个结果都与各引擎的原始实现完全相同；会改变结果的选项都会注明。各引擎的基本情况见 引擎详解，全部设置项见 配置。

设备与精度复制锚点链接

Mizuoto 能找到哪些 GPU复制锚点链接

Mizuoto 查找 GPU 时不加载 torch：NVIDIA 显卡用 nvidia-smi；AMD 显卡用 rocm-smi（或 amd-smi），torch 的 ROCm 构建与 NVIDIA 一样把它们命名为 cuda:0、cuda:1……；Apple 芯片按平台识别（mps）。CUDA_VISIBLE_DEVICES 对 nvidia-smi 找到的显卡与对 torch 一样生效：只保留它列出的显卡（序号或 GPU- UUID），按它的顺序从 cuda:0 编号（序号是 nvidia-smi 的，按 PCI 总线顺序：显卡型号不同时请设置 CUDA_DEVICE_ORDER=PCI_BUS_ID）。这些都找不到 GPU、而已安装的 torch 是能使用 GPU 的构建时（Intel 显卡的 XPU 构建、没有 rocm-smi 的 ROCm 构建、容器里没有 nvidia-smi 的 CUDA 构建），Mizuoto 会在单独的进程里询问一次 torch（一两秒）；CPU 构建的 torch 不会被询问。Mizuoto 为运行模型加载了 torch 之后，改用 torch 自己的数据。mizuoto doctor 会列出找到的 GPU 及查找方式，设置 › 计算 中也会显示。

所有引擎都能在 NVIDIA（CUDA）、AMD（ROCm）、Intel（XPU）和 Apple（MPS）的 GPU 以及 CPU 上运行。在不支持双精度的 GPU 上（Apple 芯片、Intel Arc 显卡），唯一以双精度计算的模型部件——CosyVoice 3 的音高预测器——在 CPU 上运行，模型的其余部分仍在 GPU 上。在 Apple 芯片上 compute.compile 不生效，且 torch 的 MPS 后端可能缺少某个引擎需要的运算；以 PYTORCH_ENABLE_MPS_FALLBACK=1 启动 Mizuoto 可让这些运算在 CPU 上执行。ROCm、XPU 和 MPS 路径尚未在真实硬件上测试，遇到问题请反馈。

auto 精度即各引擎的上游在该设备上使用的精度：GPU 上用半精度（显卡支持时为 bf16 或 fp16），CPU 上用 fp32。例如 Fish Speech 在 GPU 上用 bf16、在 CPU 上用 fp32；CosyVoice 保持 fp32，除非打开它的加载选项 fp16。各引擎在 CPU 上以 fp32 运行时输出与上游代码一致；其他精度和设备的结果会有细微差别。

已加载的模型与内存复制锚点链接

模型在第一次使用时加载到服务器进程中、引擎所在的设备上，之后保留给下一个请求：

• 同时运行的合成任务最多 compute.inference_jobs 个（默认 1 个），不论它们用哪个引擎和设备；其余任务在队列中按顺序等待（等待其他合成任务）。每块 GPU 上的任务数仍受 compute.gpu_jobs 限制。
• 一个引擎在一个设备上同时只处理一个请求，下一个请求等待（等待引擎）。GPU 被另一个任务占用时，新任务显示 等待 GPU；如果显存足够两个任务同时运行，可以在 任务 中点 仍然运行，或把 compute.gpu_jobs 调大。微调任务无论 compute.gpu_jobs 是多少都独占整块 GPU，开始前先把这块 GPU 上的空闲模型移到内存。
• 空闲卸载只在服务器中进行。命令（mizuoto speak 等）在自己的进程里加载需要的模型，命令结束时模型随之释放。
• mizuoto runtime 列出正在运行的服务器已加载的模型（设备、内存、有多少在设备上、上次使用、忙碌或空闲）；mizuoto runtime --unload [MODEL] 卸载一个模型，或所有未在使用的模型。网页界面的 内存中的模型 面板做同样的事，并用进度条显示每个模型有多少在 GPU 上，其中的 释放显存 释放空闲模型占用的显存。对应接口为 GET /api/v1/runtime 和 POST /api/v1/runtime/unload。
• 修改任意 engines.<id>.* 设置会卸载该引擎的模型，下次使用时按新设置加载。

显存复制锚点链接

Mizuoto 像 ComfyUI 一样管理显存。一个请求的每一步只放上它需要的模型部分（先是参考音频的编码器，然后是语言模型，再是声码器），不需要的部分在别处需要显存时先让出。模型完全放不下时，部分加载：放得下的层留在 GPU 上，其余权重留在内存中，每层运行时再复制到 GPU。这样更慢，但能运行而不是失败。

• 模型如何放置记录在每个结果的详情中（meta.memory：从内存流式加载的 MB、在设备上的 MB）；部分从内存运行、或显存不足后重试过的结果带有一条警告。部件只部分加载时，meta.memory.partial 逐个说明原因：当时权衡的空闲显存、预留的工作显存和保留量，或它为哪个部件让出了显存。日志中也有同样的信息。
• 每一步预留的工作显存随请求而定：语言模型的缓存按文本长度估算，而不是按 max_new_tokens 允许的最长生成估算。生成远超其文本长度、超出显存时，这一步会以更多权重流式加载的方式重新运行，结果相同。
• 部分加载的模型每次运行都要把那些层的权重从内存复制过来：语言模型每生成一帧都要付出这个代价，所以放得下的部分越多越快。在 NVIDIA 和 AMD GPU 上复制与计算重叠；在 Intel GPU 上同步进行。
• mizuoto doctor 打印当前生效的内存设置。
• 内部如何工作（阶段、单元、流式加载、预算、估算）：见显存与内存。

只整体加载（high）复制锚点链接

compute.vram_mode 为 high（只整体加载）时，Mizuoto 总是尝试整体加载模型，不看模型目录中的显存估计和显卡的空闲显存，与 ComfyUI 相同。它先把这块 GPU 上空闲的模型移走腾出空间，再复制权重。只有显存分配真正失败时请求才失败：错误码 compute_unavailable（detail.reason 为 out_of_memory，命令行退出码 9），随后所有 GPU 上未在使用的模型都会被卸载（见下文）。compute.gpu_jobs 大于 1 时，如果另一个请求占着这块 GPU 导致空间不够，请求先等待它结束（最多 10 分钟），然后再尝试加载。

其他模式下，放不下的模型部分加载，最少到最小工作集（从不流式加载的部分和正在复制的副本）。即使估算认为连这也放不下，Mizuoto 也会尝试：在所有模式下，只有显存分配真正失败才算错误。

显存不足复制锚点链接

请求的某一步仍然显存不足时（估计偏小，或其他程序占用了显存），Mizuoto 把这块 GPU 上其他空闲模型移走，把这一步自己的一半权重留在内存中，并用相同的随机数重新运行这一步，所以结果相同，只是更慢；最多重试两次。仍然不够且开启了 compute.oom_fallback 时，有更省显存方式的引擎会使用它（语音识别逐个 30 秒窗口，GPT-SoVITS 逐句，F5-TTS、IndexTTS 和 VoxCPM 的解码器分块）。否则请求以 compute_unavailable 失败（detail.reason 为 out_of_memory），并且与 ComfyUI 一样，Mizuoto 会卸载所有 GPU 上未在使用的模型，让下一次尝试从空的设备开始（CPU 上的模型保留）。如果再次失败，把引擎换到另一个设备，把 compute.vram_mode 设为 low 或 none，或调小 compute.max_resident_models。Mizuoto 还会记住每一步实际用了多少显存，下次预留相应的量。

编译模型（compute.compile）复制锚点链接

compute.compile（默认关，界面为 设置 › 计算 › 编译模型（torch.compile））用 torch.compile 编译部分引擎最耗时的模块：

• 对修改之后加载的模型生效；已加载的模型保持原样。
• 最初的请求要付出编译时间：在 CPU 上多 30 秒到 160 秒。
• 在 CPU 上（fp32，8 线程），被编译模块的耗时：F5-TTS 减少 23%（整个请求从 60 秒降到 45 秒），IndexTTS 的 DiT 减少 7%、BigVGAN 减少 20%，GPT-SoVITS v4 减少 7%，CosyVoice 和（bf16 的）VoxCPM 没有变化。音频与不编译时略有差别；VoxCPM 的语音结束位置可能因此改变。
• 在 GPU（RTX 3090）上，预热请求 F5-TTS 快 1.34 倍，GPT-SoVITS v4 快 1.14 倍，IndexTTS 和 CosyVoice 快 1.03–1.06 倍，代价是 55–134 秒的编译；VoxCPM 编译后不使用 CUDA 图，反而更慢（0.41–0.64 倍）：用 VoxCPM 时请关闭。
• 需要可用的 C++ 编译器。没有编译器，或某个模型的代码无法编译时，Mizuoto 记录一条警告，该模型照常不编译运行。Docker 镜像中没有编译器，所以在那里它不起作用。

更多测量数据，以及提速工作怎样确保结果不变：见性能记录。

注意力后端复制锚点链接

所有引擎和训练器的注意力计算都经过同一个开关 compute.attention（设置 › 计算 › 注意力），参照 ComfyUI 的注意力后端：

• 除 auto 以外的取值都会使结果略有不同（SageAttention 会量化注意力分数）。对大多数模型，sdpa 给出的音频与 auto 相同，也不更快。逐个 token 生成的模型从不使用 SageAttention（用它时会无休止地生成下去），在其他地方它也不更快；xFormers 在结果不同的地方更慢：两者仍可按名称选用。输出会记录计算各部分所用的后端（params.attention：各后端的调用次数以及回退的原因），mizuoto runtime 会显示每个已加载模型的后端。
• 某个后端无法处理的调用会回退到下一个后端，最后回退到模型自己的计算方式。原因包括：未安装、GPU 不匹配、不支持的掩码、头维度、fp32、缺少反向传播，或内核出错。每种原因只记录一次日志。显存不足不算回退，由显存重试机制处理。开启 compute.attention_strict 时，请求会直接失败。
• 有些注意力无论如何设置都保持自己的计算方式，因为没有融合内核能计算它们：在分数中加入相对位置的注意力（wenet、w2v-BERT、GPT-SoVITS 的 VITS），以及少数手写的编码器。
• engines.<id>.attention（引擎卡片上的 此引擎的注意力）可以按引擎设置。
• 训练有自己的设置 training.attention（设置 › 训练 › 注意力）。它只提供带反向传播的后端，因此不包括 SageAttention。
• 修改对之后加载的模型生效。
• 后端怎样选择和检查：见加速。

这些包都不是依赖。每个包都绑定特定的 torch 版本、CUDA 或 ROCm 运行时和 GPU 架构，需要自行安装，并且不能让它们替换已装好的 torch。mizuoto doctor 会列出已安装的包、每个包能否在每块 GPU 上运行（一次小的自检），并给出适合本机的安装命令。例如：torch 2.8.0 用 pip install "xformers==0.0.32.post2" --no-deps；pip install flash-attn --no-build-isolation --no-deps（需要编译）；pip install sageattention==2.2.0 --no-build-isolation --no-deps（需要 nvcc）。torch 2.8 下 FlashAttention 和 xFormers 只装其一：torch 2.8 唯一的 flash-attn wheel（2.8.3）比 xFormers 0.0.32 接受的版本新，装上后 xFormers 无法加载。对 fast 来说，起作用的是 FlashAttention。

compute.fast（设置 › 计算 › 加速）为整个进程开启 GPU 提速开关，参照 ComfyUI 的 --fast：tf32、fp16_accumulation、cudnn_benchmark 和 sdpa_reduced_precision。每一项都会使结果略有不同。它们在下次启动 Mizuoto 时生效，输出会记录它们（params.fast）。在 RTX 3090 上测量，四项全开使 VoxCPM、F5-TTS、IndexTTS 1.5、Fish Speech、CosyVoice 3 和 GPT-SoVITS v4 快 1.1–1.3 倍，而 fp16_accumulation 使 GPT-SoVITS v2 慢约 5 %（v4 快 6–9 %），tf32 不影响 GPT-SoVITS 的速度（在空闲 GPU 上与默认设置交替重测：之前测得的慢 1.3–1.6 倍来自机器上的其他工作）。

合并等待中的请求（micro-batching）复制锚点链接

tts.micro_batch（默认开，Web UI 为 设置 › 语音 › 合并等待中的请求）：服务器队列里等待同一模型的请求，如果只是文本不同，就合并成一批交给引擎，每个请求仍得到自己的结果和任务。

满足下列全部条件的请求才会合并：

• 模型变体支持 批量 且每批上限至少为 2：Qwen3-TTS（8）、GPT-SoVITS（20）、OmniVoice（8）；
• 文本只有一段（没有被切分成多段，也不是批量请求）；
• 没有指定种子（批处理中的随机数与单独运行不同）；
• 不是流式文本输入；
• 模型、设备、音色、风格、语言、参数、引擎选项和参考音频全部相同。

正在运行的请求在调用引擎前取走队列里同组的请求；整批失败时，这些请求回到队列各自运行。命令行每次只在前台运行一个任务，所以只有服务器（Web UI、HTTP 接口）会合并。

在 CPU 上运行复制锚点链接

所有引擎和训练都能在 CPU 上运行，适合试用和短句，但比 GPU 慢很多，长文本和训练尤其如此（GPT-SoVITS 的训练在 GPU 上是几分钟，在 CPU 上是几小时）。选择较小的模型（如 Qwen3-TTS 0.6B、GPT-SoVITS）能明显缩短等待；compute.compile 对 F5-TTS 帮助最大。

两项设置能让 CPU 上的运算更快，且不改变任何结果（Linux；其他系统上不起作用）：