Fun-ASR模型微调完整教程自定义数据集训练与模型优化技巧【免费下载链接】Fun-ASROpen-source LLM-based ASR model family for Chinese, dialect, accent, and multilingual speech, with FunASR, vLLM, streaming, and llama.cpp runtimes.项目地址: https://gitcode.com/gh_mirrors/fu/Fun-ASRFun-ASR是一个基于大语言模型的开源自动语音识别系统支持中文、方言、口音和多语言语音识别。本文将为您提供完整的Fun-ASR模型微调教程帮助您使用自定义数据集训练和优化模型实现更精准的语音识别效果。为什么需要微调Fun-ASR模型Fun-ASR预训练模型虽然功能强大但在特定领域、方言或专业术语识别方面可能表现不佳。通过微调您可以提升特定领域识别准确率医疗、法律、科技等专业术语识别优化方言识别能力适应不同地区方言特点改善口音适应性针对特定口音优化模型降低错误率在您的数据集上显著提升识别精度Fun-ASR v2模型架构示意图展示了音频编码器、适配器和LLM模块的协同工作环境准备与安装开始微调前需要准备好训练环境# 安装Fun-ASR训练环境 pip install funasr1.3.0确保您的系统具备Python 3.8CUDA兼容的GPU建议至少8GB显存足够的存储空间用于训练数据和模型数据准备自定义数据集格式转换Fun-ASR使用ChatML格式的训练数据。如果您有传统的语音识别数据格式wav.scp和文本文件可以使用提供的转换工具进行转换。数据格式要求Fun-ASR训练数据需要包含以下字段system content固定为You are a helpful assistant.user content包含提示词和音频文件路径assistant content音频对应的文本标注speech_length音频的fbank帧数每帧10mstext_length文本标注的token数量使用转换工具项目提供了tools/scp2jsonl.py脚本可以将常见的wav.scp和文本文件转换为训练格式python tools/scp2jsonl.py \ scp_filedata/train_wav.scp \ transcript_filedata/train_text.txt \ jsonl_filedata/train_example.jsonlwav.scp文件格式示例BAC009S0764W0121 /path/to/audio/BAC009S0764W0121.wav BAC009S0916W0489 /path/to/audio/BAC009S0916W0489.wav文本文件格式示例BAC009S0764W0121 甚至出现交易几乎停滞的情况 BAC009S0916W0489 湖北一公司以员工名义贷款数十员工负债千万微调配置策略根据您的数据量选择合适的微调策略1. 少量数据微调1000小时建议只微调audio_adaptor模块保持音频编码器和LLM部分冻结# 修改finetune.sh中的配置 audio_encoder_conf.freezetrue audio_adaptor_conf.freezefalse # 仅微调适配器 llm_conf.freezetrue2. 中等数据量微调1000-5000小时建议微调audio_encoder和audio_adaptor模块audio_encoder_conf.freezefalse # 微调音频编码器 audio_adaptor_conf.freezefalse # 微调配适器 llm_conf.freezetrue # 保持LLM冻结3. 大数据量微调10000小时建议进行全量参数微调audio_encoder_conf.freezefalse audio_adaptor_conf.freezefalse llm_conf.freezefalse # 全量微调启动训练流程修改训练脚本编辑finetune.sh文件根据您的需求调整以下参数# 设置使用的GPU export CUDA_VISIBLE_DEVICES0,1,2,3 # 设置模型路径预训练模型或本地模型 model_name_or_model_dirFunAudioLLM/Fun-ASR-Nano-2512 # 设置训练数据路径 train_data${workspace}/data/train_example.jsonl val_data${workspace}/data/val_example.jsonl # 设置输出目录 output_dir./outputs关键训练参数说明batch_size根据GPU显存调整默认6000max_epoch训练轮数默认50lr学习率默认0.0002validate_interval验证间隔默认2000步save_checkpoint_interval保存检查点间隔开始训练# 启动训练 bash finetune.sh训练过程中日志会输出到outputs/log.txt您可以实时监控训练进度和损失变化。Fun-ASR与其他主流ASR模型在中文数据集上的性能对比模型评估与测试解码测试训练完成后使用decode.py脚本对模型进行解码测试python decode.py \ model_dir/path/to/finetuned \ scp_filedata/val_wav.scp \ output_fileoutput.txt计算识别准确率解码后需要计算词错误率WER或字错误率CER# 文本归一化 python tools/whisper_mix_normalize.py data/val_text.txt data/val_norm.txt python tools/whisper_mix_normalize.py output.txt output_norm.txt # 计算错误率 compute-wer data/val_norm.txt output_norm.txt cer.txt # 查看结果 tail -n8 cer.txt高级优化技巧1. 学习率调度策略对于不同数据量建议调整学习率小数据集使用较低学习率1e-5到1e-4大数据集可以使用较高学习率2e-4到5e-42. 数据增强策略在数据准备阶段考虑速度扰动轻微调整音频速度音量归一化统一音频音量背景噪声添加模拟真实环境3. 多语言微调技巧如果需要支持多语言识别在提示词中明确语言类型混合不同语言数据进行训练调整tokenizer以适应多语言字符4. 模型融合策略训练多个不同配置的模型然后使用模型平均Model Averaging进行集成解码Ensemble Decoding选择验证集上表现最好的模型Fun-ASR在不同语言和数据集上的性能表现对比常见问题与解决方案Q1: 训练过程中显存不足怎么办A: 减小batch_size使用梯度累积或启用DeepSpeed优化Q2: 训练收敛速度慢怎么办A: 检查学习率是否合适增加训练数据多样性或调整优化器参数Q3: 验证集准确率不提升怎么办A: 检查数据标注质量调整模型微调策略或增加正则化Q4: 如何选择预训练模型A: 根据您的需求选择Fun-ASR-Nano轻量级适合移动端Fun-ASR-Base平衡性能与效率Fun-ASR-Large最高精度需要更多资源实际应用案例案例1医疗领域术语识别通过收集医疗对话数据微调后的模型在医学术语识别准确率提升35%案例2方言语音识别使用方言数据集微调模型在特定方言上的识别错误率降低42%案例3多语言混合识别训练多语言混合数据模型能够准确识别中英文混合语音性能监控与调优训练过程中建议监控训练损失曲线确保损失持续下降验证集准确率防止过拟合GPU利用率优化资源使用内存使用情况避免内存泄漏保存与部署微调模型训练完成后您可以将模型保存为本地检查点导出为ONNX格式用于生产环境集成到现有系统中使用vLLM进行高效推理总结Fun-ASR模型微调是一个强大的工具可以让您根据特定需求定制语音识别系统。通过合理的数据准备、策略选择和参数调整您可以显著提升模型在目标领域的表现。记住微调的关键要点 ✅数据质量高质量标注数据是成功的基础 ✅策略选择根据数据量选择合适的微调策略 ✅参数调优合理设置训练参数 ✅持续监控实时监控训练过程 ✅充分验证在多个数据集上验证模型效果现在您已经掌握了Fun-ASR模型微调的完整流程开始使用您的自定义数据训练专属的语音识别模型吧【免费下载链接】Fun-ASROpen-source LLM-based ASR model family for Chinese, dialect, accent, and multilingual speech, with FunASR, vLLM, streaming, and llama.cpp runtimes.项目地址: https://gitcode.com/gh_mirrors/fu/Fun-ASR创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考