第六届世界互联网大会“世界互联网领先科技成果发布活动”2019年10月20日下午17:00在乌镇互联网国际会展中心乌镇厅举行。图为统一自然语言预训练模型与机器阅读理解成果发布。
2019年,微软公司发布了最新的预训练语言模型的研究成果称为统一预训练语言模型。该模型有两个非常重要的技术创新:提出了统一的预训练框架和部分自回归预训练范。统一预训练模型在一系列的自然语言理解和生成任务均取得了领先的实验结果。
机器阅读理解是一个经典并且非常具有挑战的问题,这领域发展尤为迅速,除了端对端的神经网络模型和预训练语言模型的突破之外,大规模数据集也起到了非常重要的推动作用。
已有0人发表了评论