当前位置：首页 > article >正文

【专用名词的离线语音识别在2024年底的解决方法调查-会议签到的补充】

article 2024/10/29 0:28:57

语音识别在会议点名中的使用

- 概要
- 解决问题的过程
- - 不行的一些参考
  - 可以的一个package
  - 自定义词语的拼音转换
  - 遗留的问题
- 小结

概要

提示：这里可以添加技术概要
这里只实现一个方面,每个android会议设备都可通过语音发送参会者姓名,自动转换成文字添加到人员名单.
语音采集和发送,是通路.
识别是核心.目前的模型和模块都是针对通用语言的,在这里不合适,我只要适合的名字,并且容易添加新的名字.
最后能接受自主调节.
听得懂指令. 看似需要AI支持了,难搞.

解决问题的过程

不行的一些参考

. https://alphacephei.com/vosk/lm
这是vosk的调整,明显还不支持中文

https://github.com/Uberi/speech_recognition/blob/master/reference/pocketsphinx.rst#installing-other-languages
这是pocketsphinx在speechrecognition中的表示,看似可以调整,但是难度有点太大了.
如同vosp中说的端到端,复杂程度大,但是通用性好.可是我只想加个词典,居然这么难的吗.

可以的一个package

`提示： pocketsphinx 5.0.3
这里 pypy:https://pypi.org/project/SpeechRecognition/
原理就用里面的离线库 spinx
准备中文库
这里的中文库从:
https://jaist.dl.sourceforge.net/project/cmusphinx/Acoustic%20and%20Language%20Models/Mandarin/cmusphinx-zh-cn-5.2.tar.gz?viasf=1
来源
https://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/Mandarin/

它可以搭配 /SpeechRecognition/ 中的sphinx使用,然而 pocketsphinx却不行.

然后借鉴这里https://blog.csdn.net/Zbreakzhong/article/details/109127837
对中文单词进行编码

将cmusphinx-zh-cn-5.2.tar.解压后放入
,\Lib\site-packages\speech_recognition\pocketsphinx-data\zh-CN
仿照 en-US,为个别文件和文件夹命名.
然后就可以更改根目录下dic文件
演示

段*栓 d uan4 h ong2 sh uan1
石*阳 sh ix2 x iang4  ii ang2
张*嘉 zh ang1 s ai4 j ia1

准备好后

 import speech_recognition as sr

# 创建Recognizer对象
r = sr.Recognizer()

# 从音频文件中识别语音
def recognize_speech_from_file(file_path):
    with sr.AudioFile(file_path) as source:
        audio = r.record(source)  # 读取音频文件
        try:
            text = r.recognize_sphinx(audio, language='zh-CN')  # 使用Google语音识别引擎识别语音
            return text
        except sr.UnknownValueError:
            print("无法识别音频")
        except sr.RequestError as e:
            print("无法连接到Google语音识别服务：{0}".format(e))

# 从麦克风实时录制并识别语音
def recognize_speech_from_microphone():
    with sr.Microphone() as source:
        print("请开始说话...")
        audio = r.listen(source)  # 实时录制音频
        try:
            text = r.recognize_sphinx(audio, language='zh-CN')  # 使用Google语音识别引擎识别语音
            return text
        except sr.UnknownValueError:
            print("无法识别音频")
        except sr.RequestError as e:
            print("无法连接到Google语音识别服务：{0}".format(e))

# 调用函数进行语音识别
file_text = recognize_speech_from_file('audio.wav')
print("音频文件识别结果：", file_text)

mic_text = recognize_speech_from_microphone()
print("麦克风实时识别结果：", mic_text)

自定义词语的拼音转换

使用pypinyin,由于一开始想,也许可以听得懂拼音.只是字错.所以想用听来的字,转成拼音, 比对字典文字的拼音. 写了一上午后发现,拼音是听不懂的. 错误率的一半以上…但是这部分代码,可以借给生成 spinx的单词注音用.
目前来看 y, ii, w,uu, shi 是shix,需要一些这样的调节,其他都是一样的.另外取消了多音字的处理.

from pypinyin import pinyin, lazy_pinyin, Style
def name2py(name,duoyin=True):
   return  pinyin(name, heteronym=duoyin,style=Style.TONE3)
#names内容一行一个人名,转换成, dic的注音版
def getnames():
with open("names.txt", 'r',encoding ='utf-8') as nf:
    lines=[ln.strip() for ln in nf.readlines()]
  return lines
pinyin('中乐', heteronym=True,style=Style.TONE3)    



nms=getnames()
pys=list(map(name2py,nms))
 
#test=[['gao1', 'gao4'], ['lei2', 'lei4']]
#tar=[['gao1'],['lei2']]
#r=find1py(tar,test) 
def find1py(onepy,oneitem):
    
    if len(onepy)!=len(oneitem):
        return False
        
    for (i,j) in zip(onepy,oneitem):
        if i[0][-1].isdigit():
            i=i[0][:-1]
        print(j)
        print("i in "+i)

        if ','.join(j).find(i)==-1:
          return False
    return True         
        
def godo(name,pys=pys,nms=nms):
    target = name2py(name,duoyin=False)
    for i,item in  enumerate(pys):
        print(item)
        if  find1py(target,item):
           return nms[i]
    return None
def writedic():
   with open('zh.dic.txt','w') as wf:
      for i in nms[:30]:
         final=pinyin(i, heteronym=False,style=Style.INITIALS)
         rt=name2py(i,False)
         toget=i+" "
         
         for init ,r in zip(final,rt):
             r=r[0].replace("zhi","zhix").replace("chi","chix").replace("shi","shix")
             
             r= r.replace(init[0],'')
             r=r.replace('w','uu ').replace('y','ii ')
             
             toget+=fr"{init[0]} {r} "
         print (toget[:-1])
          

#r=godo("含风",pys,nms)
 
writedic()