近日,安谋科技披露了“星辰300”AIoT原型平台在语音识别领域的最新成果。该平台基于“星辰”STAR-MC2 CPU、Arm Helium矢量扩展技术与Ethos-U55 NPU的异构组合,已成功在FPGA开发板上跑通wav2letter与Conformer语音识别模型,验证了从传统CNN到前沿Transformer架构在低功耗MCU上的完整落地能力,可应用于手机、眼镜等智能设备的信息录入。

演示中,“星辰300”运行于MPS3 FPGA开发板,通过网线连接PC端GUI控制界面。PC发送语音数据后,开发板自动切换模型并进行推理,识别结果实时显示于自带LCD屏幕。
wav2letter模型:演示发送的语音片段为 “And he walked immediately out of the apartment by another door.”,平台完成端到端语音转文字识别,文字结果清晰显示于屏幕,验证了CNN类模型在MCU+NPU架构下的成熟适配能力。
Conformer模型:演示语音片段为 “Could you please turn off all the lights in the living room?”,该模型结合了CNN局部特征提取与Transformer全局依赖建模能力,推理精度显著优于wav2letter,平台同样稳定输出正确识别结果,证明“星辰300”具备支持Transformer类模型的能力。

目前,“星辰300”原型平台已跑通人脸探测、语音识别、关键字检测、图像超分四大典型用例,覆盖视觉与语音两大AI感知核心领域。