——金志刚 何晓勇 岳顺民 熊亚岚 罗 嘉

作者简介

金志刚，男，天津大学电子信息工程学院教授，博士研究生导师。2016.12至今天津大学电气自动化与信息工程学院，信息与通信工程专业，教授，博士生导师。

论文摘要

为了弥补通用预训练模型不适应医疗领域的命名实体识别任务这一不足，提出了一种融合医疗领域知识图谱的神经网络架构，该架构利用弹性位置和遮盖矩阵使预训练模型计算自注意力时避免语义混淆和语义干扰，在微调时使用多任务学习的思想，利用回忆学习的优化算法使预训练模型均衡通用语义表达和目标任务的学习，最终得到更为高效的向量表示并进行标签预测。实验结果表明：本文提出的命名实体识别架构在医疗领域上取得了优于主流预训练模型的效果，在通用领域也有较为良好的效果。该架构避免了重新训练针对某个领域的预训练模型和引入额外的编码结构从而精简了计算代价和模型大小。此外，通过消融实验对比，医疗领域对于知识图谱的依赖程度较通用领域依赖程度更大，这说明在医疗领域中融合知识图谱方法的有效性。通过参数分析，证明本文使用回忆学习的优化算法可以有效控制模型参数的更新，使模型可以保留更多的通用语义信息并得到更符合语义的向量表达。本文也通过实验分析说明了所提方法在实体数量少的种类上具有更优的表现。

关键词

BERT；知识图谱；多任务学习；命名实体识别

原文节选

随着医疗系统信息化程度不断提高，国家对医疗系统中的数字化过程越来越重视。电子病历子病历不仅可以挖掘和患者相关的医疗知识，还可以用来解释或者推断一些有用的信息。自电子病历产生至今，已经积累了大量电子病历数据，提取电子病历中的结构化数据可以用于构建个性化医疗服务体系和临床决策支持，而抽取电子病历中的信息的基础在于准确识别出电子病历中的相关实体。命名实体识别是自然语言处理中的基础任务之一，也是信息抽取中的重要环节。该任务旨在识别文本中属于预先定义的类别的实体并判断其所属类别，一般分为通用命名实体识别和领域命名实体识别。其中通用命名实体识别通常识别人名、地名和日期等一般实体，领域命名实体识别通常识别本专业领域内涉及的实体类型。例如在医学领域中，药物类型、身体部位、疾病类型和症状类型一般是电子病历中经常出现的实体类型，这些实体类型区别于通用领域的命名实体，对医学领域有着独特的作用。

命名实体识别基于深度神经网络的方法以及其高效的非线性函数表达能力和自动捕捉潜在特征的能力在识别效果和构建方法上均相较于传统方法有显著的优势。利用神经网络实现命名实体识别的关键在于表示学习，以Word2vec算法为代表的静态词向量表示最初被研究者使用。然而自从ELMo、BERT预训练模型提出后，利用堆叠神经网络得到文本的动态词向量再进行有监督学习的微调方法成为了新的自然语言处理范式， BERT是一种使用注意力机制的深层神经网络，注意力机制模仿人类的行为，在计算机视觉中的行人遮挡等任务上都有出色的表现。

论文位置

北区三教图书馆：《哈尔滨工业大学》2023年第5期第50页至58页，架标号28号。