| 首页  |  资讯  |  评测  |  活动  |  学院  |  专题  |  杂志  |  产服  |  
您现在的位置:硅谷网> 资讯> 智能>

阿里云机器学习平台 PAI 多篇小样本学习论文入选 EMNLP 2022

2022-12-07 15:51 作者:Neke 来源:硅谷网综合 关注: 编辑:GuiGu 【搜索试试

12月7日,人工智能自然语言处理领域的顶级国际会议 EMNLP 2022 在阿布扎比开幕。EMNLP 聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次会议上,由阿里云机器学习平台 PAI 主导联合阿里巴巴达摩院 NLP 团队、华东师范大学高明教授团队在小样本学习方向的研究有3篇论文入选。

此次入选意味着阿里云机器学习平台 PAI 自研的自然语言处理算法和框架达到了全球业界先进水平,获得了国际学者的认可,展现了中国人工智能技术创新在国际上的竞争力。

小样本学习论文简述

预训练语言模型规模的扩大,带来这一类模型在自然语言理解等相关任务效果的不断提升。然而,这些模型的参数空间比较大,如果在下游任务上直接对这些模型进行微调,为了达到较好的模型泛化性,需要较多的训练数据。小样本学习技术能充分利用预训练过程中模型获得的知识,在给定小训练集上训练得到精度较高的模型。本次阿里云机器学习平台 PAI 共有 3 篇小样本学习相关论文入选,简述如下。

基于 Prompt-Tuning 的小样本机器阅读理解算法 KECP

传统的机器阅读理解任务通常需要大量的标注数据来微调模型(例如 BERT),这一任务通常需要采用序列标注或指针网络的方法,获得答案在给定文章的区间。然而,这种方法需要重头开始学习 Preduction Head 的参数,在小样本场景下容易过拟合。最近 Prompt-Tuning 相关方法的提出缓解了预训练语言模型在低资源场景下的过拟合问题。受到这个启发,我们将抽取式阅读理解转换为基于 BERT 的生成任务。我们提出的 KECP(Knowledge Enhanced Contrastive Prompt-tuning)模型综合利用了模型表示的知识增强和对比学习技术,提升了小样本学习场景下的机器阅读理解准确度,模型架构如下图。实验结果可以证明,KECP 在一些常用的机器阅读理解数据集上,在只有 16 个标注的训练样本情况下,取得了比先前提出的模型更好的精度。

 

基于 Span 和元学习的小样本实体识别算法 SpanProto

命名实体识别是 NLP 领域中非常常见的任务,对于这一任务,预训练语言模型的 Fine-tune 需要一定数量的语料来学习 Token 与 Label(例如人名、地名)之间的依赖关系。但是在实际应用中,标注数据资源比较稀缺,传统的序列标注方法很难达到较好的效果,因为其需要解决实体识别中的标签依赖(Label Depnedency)关系,同时也无法应对实体嵌套(Nested Entity)问题。因此,我们研究一种基于 Span 和元学习的小样本实体识别技术 SpanProto,特别地,我们关注于解决 N-way K-shot 的实体识别场景。SpanProto 采用两阶段方法,即将实体识别任务分解为两个阶段,分别是 Span Extraction 和 Mention Classification,模型框架图如下所示。

在 Span Extraction 模块中,SpanProto 使用与类别无关的 Span 抽取器,抽取出可能的命名区间。在 Mention Classification 模块中,SpanProto 采用 Prototypical Learning 给每个 Span 分配标签;与此同时,我们考虑到命名实体识别的 False Positive 问题,即存在一些抽取的 Span 在当前 Episode 内没有合适的类别可以分配的情况。为了验证 SpanProto 算法的有效性,我们在 Few-NERD 这一标准评测数据集上进行了测试,效果证明 SpanProto 对精度提升明显。

统一跨任务小样本学习算法 UPT

基于提示微调(Prompt Tuning)的小样本学习技术能充分利用预训练过程中模型获得的知识,在给定小训练集上训练得到精度较高的模型。然而,在小样本学习场景下,训练数据的有限性仍然对模型的准确度造成一定的制约。因此,如果可以在小样本学习阶段,有效利用其它跨任务的数据集,可以进一步提升模型的精度。跨任务小样本学习算法 UPT(Unified Prompt Tuning)是一种统一的学习范式,可以将各种下游任务和预训练任务统一成 POV(Prompt-Options-Verbalizer)的形式,使得模型可以学习利用Prompt 解决各种 NLP 任务,UPT 的任务构造形式如下所示。

 

无论是单句分类任务,还有双句匹配任务,亦或是预训练阶段的自监督学习任务,UPT 可以将他们转化成一种统一的范式进行学习。这种学习方式兼顾了经典的小样本学习算法的优势,又在学习过程中引入了“元学习”(Meta Learning)的思想,大大提升了模型对下游任务的泛化性,缓解了其在小样本学习阶段遇到的过拟合问题。当我们训练得到这一 Meta Learner 之后,我们可以复用先前的算法,对 Meta Learner 进行 Few-shot Fine-tuning。我们在多个 GLUE 和 SuperGLUE 数据集上验证了 UPT 的实验效果,实验结果表明,我们提出的自研算法 UPT 具有明显精度提升。

EasyNLP 算法框架及算法应用

 

为了更好地服务开源社区,上述三个算法的源代码即将贡献在自然语言处理算法框架 EasyNLP 中,欢迎 NLP 从业人员和研究者使用。EasyNLP 是阿里云机器学习 PAI 团队基于 PyTorch 开发的易用且丰富的中文 NLP 算法框架,支持常用的中文预训练模型和大模型落地技术,并且提供了从训练到部署的一站式 NLP 开发体验。由于跨模态理解需求的不断增加,EasyNLP 也将支持各种跨模态模型,特别是中文领域的跨模态模型,推向开源社区,希望能够服务更多的 NLP 和多模态算法开发者和研究者,也希望和社区一起推动 NLP/多模态技术的发展和模型落地。机器学习平台 PAI 面向企业客户级开发者,提供轻量化、高性价比的云原生机器学习,涵盖 PAI-DSW 交互式建模、PAI-Designer 可视化建模、PAI-DLC 分布式训练到 PAI-EAS 模型在线部署的全流程。

Github地址:https://github.com/alibaba/EasyNLP

阿里云机器学习平台PAI论文入选 EMNLP 2022 列表

1. KECP: Knowledge-Enhanced Contrastive Prompting for Few-shot Extractive Question Answering

论文作者:王嘉宁、汪诚愚、谭传奇、邱明辉、黄松芳、黄俊、高明

2.SpanProto: A Two-stage Span-based Prototypical Network For Few-shot Named Entity Recognition

论文作者:王嘉宁、汪诚愚、邱明辉、石秋慧、王洪彬、黄俊、高明

3.Towards Unified Prompt Tuning for Few-shot Text Classification

论文作者:王嘉宁、汪诚愚、罗福莉、谭传奇、邱明辉、杨非、石秋慧、黄松芳、高明

【对“阿里云机器学习平台 PAI 多篇小样本学习论文入选 EMNLP 2022”发布评论】

版权及免责声明:
① 本网站部分投稿来源于“网友”,涉及投资、理财、消费等内容,请亲们反复甄别,切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质,仅供阅读,不构成具体实施建议,请谨慎对待。据此操作,风险自担。
② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频,版权均属本网站所有,任何媒体、网站或个人需经本网站许可方可复制或转载,并在使用时必须注明来源【硅谷网】或对应来源,违者本网站将依法追究责任。
③ 注明来源为各大报纸、杂志、网站及其他媒体的文章,文章原作者享有著作权,本网站转载其他媒体稿件是为传播更多的信息,并不代表赞同其观点和对其真实性负责,本网站不承担此类稿件侵权行为的连带责任。
④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容,涉及到侵权、违法等问题,请有关单位或个人速与本网站取得联系(联系电话:01057255600),我们将第一时间核实处理。
广告
相关
·阿里云机器学习平台 PAI宣布集成国产深度学习框
头条
微软宣布将停止销售基于面部图像猜测情绪技术 微软宣布将停止销售基于面部图像猜测情绪技术
微软当地时间周二宣布,将停止销售基于面部图像猜测人们情绪的技术,而且将不再提供不……
·仅靠一张嘴!Meta新研究可一句话生成AI小视频
·微软宣布将停止销售基于面部图像猜测情绪技术
·深度学习撞墙?LeCun与Marcus到底谁捅了马蜂
·阿里AI再突破,新研究成果斩获国际顶会杰出论
·苹果前机器学习总监离职后重回谷歌旗下公司
图文
阿里云机器学习平台 PAI 多篇小样本学习论文入选 EMNLP 2022
阿里云机器学习平台 PAI 多篇小样本学习论
专为混合世界而生,HPE推出新一代计算产品——HPE ProLiant Gen11
专为混合世界而生,HPE推出新一代计算产品
ZAO隐私风险 你的脸已经不仅仅是你的脸了
ZAO隐私风险 你的脸已经不仅仅是你的脸了
九号机器人,这次想用AI运载机器人送快递送外卖
九号机器人,这次想用AI运载机器人送快递送
热点
·AI又出了偏门应用:用算法“脱掉”女性衣服
·ZAO隐私风险 你的脸已经不仅仅是你的脸了
·美的AIR空间站|你用过能管理空气的空调吗?
·新橙派果汁机器人引爆中国独角兽孵化合作大会
·民宿房东的辛酸史 用安伴门锁实现了合规运营
旧闻
·人机互动更温情 网易七鱼推动客服行业“智能
·DataCanvas九章云极实力斩获2018年科技创业贡
·健康生活无需等待,松下罗密欧系列洗衣机守护
·百度公布2019年第三季度财报 李彦宏披露AI寻
·OKKI入选中国五家AI初创公司代表,融合AI打造
广告
硅谷精选
阿里云机器学习平台 PAI 多篇小样本学习论文入选 EMNLP 2022
阿里云机器学习平台 PAI 多篇小样本学习论文入选 EMNL
专为混合世界而生,HPE推出新一代计算产品——HPE ProLiant Gen11
专为混合世界而生,HPE推出新一代计算产品——HPE Pro
鑫精诚传感器:鑫精诚六维力传感器赋予机器人更触觉的触觉感知
鑫精诚传感器:鑫精诚六维力传感器赋予机器人更触觉的
凌华科技 AES-200 集中式计算平台提供“基础通用算力+超强AI算力”
凌华科技 AES-200 集中式计算平台提供“基础通用算力+
中国机器视觉厂商如何趁势而上?
中国机器视觉厂商如何趁势而上?
嘉兴移动联合佳格天地打造墅丰“未来乡村”,获CCTV特别报道
嘉兴移动联合佳格天地打造墅丰“未来乡村”,获CCTV特
关于我们·About | 联系我们·contact | 加入我们·Join | 关注我们·Invest | Site Map | Tags | RSS Map
电脑版·PC版 移动版·MD版 网站热线:(+86)010-57255600
Copyright © 2007-2023 硅谷网. 版权所有. All Rights Reserved. <备案号:京ICP备12003855号-2>