发明人：李祯其; 胡尧; 温志庆

本发明涉及语音识别技术领域，具体公开了一种用于语音识别的多模态数据融合方法、装置、设备及介质，其中，方法包括步骤：利用多门控混合专家网络根据多模态数据获取不同模态数据的嵌入表示；根据多门控混合专家网络的专家网络及门控网络结合嵌入表示获取不同模态数据在不同门控阶段的融合权值；在每个门控阶段根据融合权值加权融合对应门控阶段输入的多模态数据生成初步融合数据，并将初步融合数据拼接单模态数据作为下一门控阶段输入的多模态数据；该方法根据多门控混合专家网络获取多模态数据不同模态在不同门控阶段中的融合权值，并根据融合权值对多模态数据进行多阶段融合，能有效提高语音识别的鲁棒性、准确率。