怎样做一个企业网站,100人公司局域网搭建,哈尔滨网站域名归那里管,汕头seo课程培训1 Whisper模型#xff0c;免费开源的语音识别模型
Whisper模型是OpenAI公开的语音识别模型。这是一个免费可商用的模型。 Whisper模型根据参数量来区分#xff0c;有多个不同的版本#xff0c;分别是tiny#xff0c;base#xff0c;small medium#xff0c;large#x…1 Whisper模型免费开源的语音识别模型
Whisper模型是OpenAI公开的语音识别模型。这是一个免费可商用的模型。 Whisper模型根据参数量来区分有多个不同的版本分别是tinybasesmall mediumlarge large-v2 large-v3。
目前性能最好的是2023年11月7日发布的参数量为1550M的large-v3。
与large-v2相比large-v3主要有以下改进
使用了更多的训练数据进行训练100万小时标注数据和400万小时无标注数据。输入特征使用了128维的fbankv2使用了80维fbank。token增加了对粤语的支持。误识率Error rate比large-v2降低了10%至20%。
图1. Whisper模型各种版本的比较
参考资料https://huggingface.co/openai/whisper-large-v3
2 Faster-whisperWhisper模型的高速推理版
Whisper large模型由于参数量比较大推理的速度比较慢。 为了提高推理的速度faster-whisper通过使用 CTranslate2 工具进行优化大幅度改善了推理的速度。
从下图可以看出faster-whisper 推理时间只有原模型的1/5 GPU显存的使用也不到原来的二分之一。
图2. Whisper与Faster Whisper的推理对比语音文件长度为13分钟
相关链接 Falster-whisper: GitHub - SYSTRAN/faster-whisper: Faster Whisper transcription with CTranslate2 CTranslate2: GitHub - OpenNMT/CTranslate2: Fast inference engine for Transformer models
3 环境安装语音识别代码
我的运行环境Windows10AnacondaNVIDIA Quadro RTX 3000 GPU
第一步通过下面的命令来安装faster-whisper
pip install faster-whisper
pip install nvidia-cublas-cu11 nvidia-cudnn-cu11 #使用GPU时需要第二步 准备一个语音文件比如 sample_3m.wav
第三步 拷贝并运行下面的代码
import os
import timeos.environ[KMP_DUPLICATE_LIB_OK]True# 针对使用GPU时出现的问题请参考文档中的常见问题
os.environ[PATH] os.environ[PATH] \ ; rC:\Users\user01\anaconda3\Lib\site-packages\nvidia\cudnn\bin \ ; rC:\Users\user01\anaconda3\Lib\site-packages\nvidia\cublas\binstart_time time.time()from faster_whisper import WhisperModel
model_size large-v3# Run on GPU with FP16
#model WhisperModel(model_size, devicecuda, compute_typefloat16)# or run on GPU with INT8
#model WhisperModel(model_size, devicecuda, compute_typeint8_float16)
# or run on CPU with INT8
model WhisperModel(model_size, devicecpu, compute_typeint8)
print(fModel load: {time.time()-start_time} s)start_time time.time()
segments, info model.transcribe(tmp1/sample_3m.wav, beam_size5)
print(fRecognition: {time.time()-start_time} s)print(Detected language %s with probability %f % (info.language, info.language_probability))for segment in segments:print([%.2fs - %.2fs] %s % (segment.start, segment.end, segment.text))
几个参数说明
word_timestamps默认值为trueWord-level timestamps关闭后识别会更快vad_filter默认值为true自动删除长度为2秒以上的无音部分
更多参数请参考faster-whisper/faster_whisper/transcribe.py at master · SYSTRAN/faster-whisper · GitHub
4 常见问题
下面是我在代码执行过程中碰到的问题。如果您有其他问题欢迎在视频下面留言。 Q1OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized. 程序中加入以下代码后解决。 import os
os.environ[KMP_DUPLICATE_LIB_OK]True参考资料https://stackoverflow.com/questions/64209238/error-15-initializing-libiomp5md-dll-but-found-libiomp5md-dll-already-initial Q2 使用GPU过程中出现的错误 Could not load library cudnn_ops_infer64_8.dll. Error code 126 解决方法如下 第一步安装以下开发库 pip install nvidia-cublas-cu11 nvidia-cudnn-cu11第二步将对应的开发库的文件位置加入到PATH中。 然后找到响应的开发库的位置 os.environ[PATH] os.environ[PATH] \ ; rC:\Users\YourUserName\anaconda3\Lib\site-packages\nvidia\cudnn\bin \ ; rC:\Users\YourUserName\anaconda3\Lib\site-packages\nvidia\cublas\bin
