发明人：李祯其; 谢雄敦; 胡尧; 温志庆

本发明涉及医学诊疗技术领域，具体公开了一种基于多模态数据的疾病诊断方法、装置、设备及介质，其中，方法包括以下步骤：分别提取问题文本特征、病症文本特征、音频特征和图像特征；将病症文本特征、音频特征和图像特征映射至同一维度下，并进行特征对齐处理；融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量；拼接问题文本特征和融合特征向量获取拼接向量；将拼接向量置入预先训练好的语言模型生成诊断结果；该方法能充分挖掘不同模态数据之间的关联性和差异性，解决了多模态数据因为数据之间的差异性而难以捕捉其关系的问题，以将各类特征进行有效融合，能有效缓解医生疲劳，并提高疾病诊断准确率。