聋哑人沟通翻译软件,聋哑人手语翻译软件

首页 > 焦点 > 今日关注 > 正文

聋哑人沟通翻译软件,聋哑人手语翻译软件

聋哑人沟通翻译软件,聋哑人手语翻译软件

◆ “音书”团队为产品使用场景拍摄了展示视频。

文| 铅笔道 记者 徐茂祝

►导语

助听器容易引发中耳炎,且不适用于听力损伤严重者;人工耳蜗具有手术风险,安装者必须要舍弃羽毛球等偏剧烈的运动爱好……市面上的助听工具除价格昂贵还有可能带来副作用。

石城川希望提供低成本解决方案,帮助听障人与健听人正常沟通。去年春节后,他启动“音书”项目,并于今年1月,上线“音书”App且免费开放下载。

用户可通过“音书”App完成声音与文字的转换,实现面对面沟通、电话沟通、语音训练及多人聊天。其文字与语音的转换延迟在0.5秒以内,准确度高于95%。

注: 石城川、陈国强承诺文中数据无误,为其真实性负责,铅笔道已备份录音速记,为内容客观性背书。

从“听镜”到“音书”App

2012年,谷歌眼镜发布,议论喧腾而起。石城川内心激动不已,得知消息当天,他整晚没睡,翻来覆去琢磨着——造一个“听镜”,把人声转换成文字显示在AR眼镜的虚拟屏幕上,像自己一样的听障人士就能便利地与人交流。

当时石城川正在上大二,他通过邮件向谷歌等公司阐述自己的想法。石城川还在好友陈国强的陪伴下进行了产品调研,结果显示:被调查的2500人中,佩戴助听器后恢复正常的交流水平的仅25%;而安装人工耳蜗后能够正常与人沟通的,也只有35%。

遗憾的是,一直没有公司采纳石城川的方案。毕业后,他去了一家外企从事软件开发,心里却一直对“听镜”念念不忘。

2015年年底,石城川有望进入另一家公司落实“听镜”想法,他十分兴奋,遂辞去前公司职务,却收到被拒的消息。石城川的情绪一度陷入低谷,最终决定自己动手实践想法。

去年春节后,“音书”项目正式启动。陈国强感动于石的坚持,便和他一起进行开发工作。考虑到智能手机普及率高、软件获取成本低,二人同步推进硬件和App的开发。

去年3月,“音书”App雏形完成。据陈国强介绍,“当时没有设计师,产品特别简陋,仅具备语音文字转换功能。”接下来,团队逐渐扩充人手,一边优化App,一边开发硬件。

去年10月,团队完成“听镜”第一代原型机开发。因为硬件对资金需求量大,团队试着寻求资本的帮助,获得了天使投资人的种子轮投资,但是“更多投资人持观望态度”。

在成本压力之下,团队调整布局——“软件先行,资金条件达到之后,硬件再跟上”。

让听障人“看见声音”

今年1月20日,“音书”App正式上线,并经过7个月迭代至当前版本:软件接入数据网络后可完成面对面沟通、电话沟通、语音训练、多人聊天四个功能。

◆ “音书”App截图,左为语音与文字的转换界面,右为语音训练界面。

面对面沟通,即通过语音和文字相互转换实现近距离交流。用户在会话前点击App主界面底部麦克风按钮一次,系统会自动识别、持续记录声音,无须多次或长按录音键。目前,系统支持普通话、英语、四川话、粤语、河南话五种语言。对于文字转换为语音,“音书”App还提供不同年龄、情感的音色可选。

开发难度最大的功能是电话沟通,耗时近一年上线。听障人安装“音书”App后,通过App可以拨打到普通号码,并且可在App界面中看到对方语音转换而来的文字,同时,输入文字也可变为声音被对方听到。

听障人士可通过“音书”App独立完成语音训练,选择“词”、“句”、“文”三种模式之一,读出屏幕上的文字,系统会收集语音比对正确发音并给出训练提示。

团队在一周前推出群聊功能,旨在帮助听障人适应群体社交场景。系统可将聊天群内健听人的语音转换成文字,实时同步在所有人的界面中。

据石城川介绍,产品使用了科大讯飞的语音识别引擎。同时,团队采用深度学习的方式,自主开发降噪算法,误差降至0.00006。目前,“音书”App文字与语音的转换延迟在0.5秒以内,准确度高于95%。

现阶段,通过“音书”App发起会话的次数,平均每天超过3万次,用户日均使用时长达15分钟。

石城川介绍道,“音书”线下与残联、聋协等机构合作,“在服务听障人士的同时,达到宣传目的”。项目还通过微信公众号、头条号、QQ群进行推广,其中,QQ群成员已近1000人。

项目前期主要通过软件增值服务盈利,如对打电话功能进行适量收费。未来会增加硬件销售、听力定制服务等盈利方式。

“音书”正寻求200万元天使轮融资,出让股份10%,资金将用户产品研发和营销推广。

/The End/

编辑 罗正臣 校对 杨茅

如需转载文章请联系铅笔道微信客服号:铅笔道大芯芯(微信id:qianbidao2017)获取授权资质,否则我们将依法追究相关责任。

备案号:赣ICP备2022005379号
华网(http://www.hbsztv.com) 版权所有未经同意不得复制或镜像

QQ:51985809邮箱:51985809@qq.com