OpenMOSS/MOSS-TTS-Nano

> onnx在中等性能的cpu上勉勉强强能达到实时，但是效果差(丢词，读错，生硬)，一般业务使用不了。 非onnx的模型中等cpu上完全达不到实时，听感是一种折磨。在gpu(3090)上短文本的RTF>1，达不到实时。长文本的RTF在0.35左右。非onnx的效果比onnx的效果好很多，但是达不到实时，所以综合下来，还得优化。

赞同！

> 我们开源了WenetSpeech粤、川、吴等系列方言数据

@hujingbin1 请问在哪里可以找到?

onnx版本实测下来：
1、Intel(R) Core(TM) i5-9500 CPU @ 3.00GHz--这款设备上，ONNX推理速度没有明显的变化，RTF大约还是在1.13左右
2、在Mac mini上推理，纯CPU：这款速度上比torch版本要快不少，CPU利用率大约在200%，RTF能到0.6左右。
但是都是长文本推理时，都是存在长时间停顿问题。不知道是不是界面做的不好，还是模型本身就会停顿。
以上都是使用4核心推理。

onnx在中等性能的cpu上勉勉强强能达到实时，但是效果差(丢词，读错，生硬)，一般业务使用不了。
非onnx的模型中等cpu上完全达不到实时，听感是一种折磨。在gpu(3090)上短文本的RTF>1，达不到实时。长文本的RTF在0.35左右。非onnx的效果比onnx的效果好很多，但是达不到实时，所以综合下来，还得优化。

> 可提供思路怎样微调方言吗？

可以尝试扩充词表，加special accent tags，然后训练。或者尝试instruct训练，给出对应方言的描述，如“请用粤语说”，然后加粤语数据微调。我们开源了WenetSpeech粤、川、吴等系列方言数据，可以关注下。

您好，我们发布了推理速度更快的onnx版，欢迎试用。

您好, 可以试一下我们 ONNX 实现, 实测下来比朴素 pytorch 版本快不少
https://github.com/OpenMOSS/MOSS-TTS-Nano/commit/7928ec16500378de31d17bc86ce719cc9fd7b84f

我的也非常慢，实时播放的音频一卡一卡的：
Done | mode=voice_clone | prompt=zh_1 | attn=eager | tts_batch=1 | codec_batch=1 | exec=cpu | cpu_threads=12 | audio=4.80s | elapsed=13.22s
state=done | emitted=4.80s | lead=-6.89s | first_audio=1.41s
CPU：Intel(R) Core(TM) i5-10400 CPU @ 2.90GHz

您好, 我们马上会出一个 ONNX 版本, 敬请期待

[pynini](https://github.com/SystemPanic/pynini-windows/releases/tag/v2.1.6.post1)

If you are using Windows without Conda, you can download the package from the link and install it. However, after installation, you need to modify the version number of the pynini package in your virtual environment (for example, in my case: .venv\Lib\site-packages\pynini\__init__.py): change `__version__ = "2.1.6.post1"` to `__version__ = "2.1.6"`. Then, install both pynini and WeTextProcessing, and it should work.

可以尝试把hf的来源替换为镜像源
```bash
export HF_ENDPOINT=https://hf-mirror.com
```

可以尝试使用 modelscope 下载好模型，然后指定模型路径启动服务
```bash
modelscope download --model openmoss/MOSS-TTS-Nano-100M
modelscope download --model openmoss/MOSS-Audio-Tokenizer-Nano
```

你好，感谢关注！也可以从 https://modelscope.cn/models/openmoss/MOSS-TTS-Nano 上下载模型。

或者您也可以参考 [#10](https://github.com/OpenMOSS/MOSS-TTS-Nano/issues/10#issuecomment-4265340787) 的解决方案

您好，不需要先改回环境变量。更可能是这些环境变量没有在当前 Python 进程中完全生效，或者仍有某个 Hugging Face 缓存路径没有被缩短。

从类似报错来看，关键是要确认这些环境变量是否真的在当前启动 `python app.py` 的同一个终端会话里生效。如果没有生效，Hugging Face 仍然可能继续使用默认的长路径缓存目录。

能否请您补充以下信息，方便我们进一步确认：

1. 在运行 `python app.py` 之前，同一个终端里执行下面命令，并把输出贴出来：

echo %HF_HOME%
echo %HF_HUB_CACHE%
echo %HUGGINGFACE_HUB_CACHE%
echo %TRANSFORMERS_CACHE%
echo %HF_MODULES_CACHE%
echo %TORCH_HOME%

2. 请把完整报错日志贴出来，尤其是包含 `FileNotFoundError: [WinError 206]` 的那一段完整路径。

3. 也请执行下面命令，并贴一下输出：

python -c "import os; print('HF_HOME=', os.environ.get('HF_HOME')); print('HF_HUB_CACHE=', os.environ.get('HF_HUB_CACHE')); print('HUGGINGFACE_HUB_CACHE=', os.environ.get('HUGGINGFACE_HUB_CACHE')); print('TRANSFORMERS_CACHE=', os.environ.get('TRANSFORMERS_CACHE')); print('HF_MODULES_CACHE=', os.environ.get('HF_MODULES_CACHE')); print('TORCH_HOME=', os.environ.get('TORCH_HOME'))"

如果方便的话，也建议您额外设置一个更短的动态模块缓存目录后再试一次：

set HF_HOME=C:\hf
set HF_HUB_CACHE=C:\hf\hub
set HF_MODULES_CACHE=C:\hf\modules
set TRANSFORMERS_CACHE=C:\hf\hu...