| 首页  |  资讯  |  评测  |  活动  |  学院  |  专题  |  杂志  |  产服  |  
您现在的位置:硅谷网> 资讯> 智能>

阿里云机器学习平台PAI与华东师范大学论文入选SIGIR 2022

2022-07-11 18:04 作者:Neke 来源:硅谷网综合 关注: 编辑:GuiGu 【搜索试试

近日,阿里云机器学习平台PAI与华东师范大学高明教授团队合作的论文《结构感知的稀疏注意力Transformer模型SASA》被顶会 SIGIR 2022录取。论文主导通过引入稀疏自注意力的方式来提高Transformer模型处理长序列的效率和性能,并提出了结合代码语言和结构特性的面向长代码序列的Transformer模型性能优化方法。

SIGIR是人工智能领域智能信息检索方向顶级国际会议,涉及搜索引擎、推荐系统等多个方向,该会议曾推动了面向搜索的排序模型、基于深度学习的推荐算法等人工智能领域的核心创新,在学术和工业界都有巨大的影响力。此次入选意味着阿里云机器学习平台PAI自研的稀疏注意力Transformer模型达到了业界先进水平,获得了国际学者的认可,展现了中国机器学习系统技术创新在国际上的竞争力。

那么SASA主要解决了什么问题?基于Transformer的模型在self-attention模块的复杂度随序列长度呈次方增长,多数编程预训练语言模型(Programming-based Pretrained Language Models, PPLM)采用序列截断的方式处理代码序列,从而导致上下文信息缺失。

针对以上问题,SASA设计了四种稀疏注意力模式,包括:sliding window attention,global attention,Top-k attention,AST-aware attention,在一定程度上将计算复杂度与序列长度解耦。其中sliding window和Top-k模式基于局部上下文和重要的attention交互学习表示,抽象语法树(AST)模式引入代码的结构特性,与序列上下文信息相互补足,global attention通过与序列中所有token进行交互来获取全局信息。对比CodeBERT,GraphCodeBERT等方法,SASA在多个长代码任务上取得最佳效果,同时也降低了内存和计算复杂度。

SASA技术将在开源框架EasyNLP中集成,给PAI的NLP开发者提供基于稀疏注意力机制的长序列自然语言处理能力。机器学习平台PAI面向企业客户级开发者,提供轻量化、高性价比的云原生机器学习,涵盖PAI-DSW交互式建模、PAI-Designer可视化建模、PAI-DLC分布式训练到PAI-EAS模型在线部署的全流程。

论文信息

EasyNLP开源地址:https://github.com/alibaba/EasyNLP

论文链接:https://arxiv.org/abs/2205.13730
论文名字
Understanding Long Programming Languages with Structure-Aware Sparse Attention. SIGIR 2022
论文作者
刘婷婷,汪诚愚,陈岑,高明,周傲英

【对“阿里云机器学习平台PAI与华东师范大学论文入选SIGIR 2022”发布评论】

版权及免责声明:
① 本网站部分投稿来源于“网友”,涉及投资、理财、消费等内容,请亲们反复甄别,切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质,仅供阅读,不构成具体实施建议,请谨慎对待。据此操作,风险自担。
② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频,版权均属本网站所有,任何媒体、网站或个人需经本网站许可方可复制或转载,并在使用时必须注明来源【硅谷网】或对应来源,违者本网站将依法追究责任。
③ 注明来源为各大报纸、杂志、网站及其他媒体的文章,文章原作者享有著作权,本网站转载其他媒体稿件是为传播更多的信息,并不代表赞同其观点和对其真实性负责,本网站不承担此类稿件侵权行为的连带责任。
④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容,涉及到侵权、违法等问题,请有关单位或个人速与本网站取得联系(联系电话:01057255600),我们将第一时间核实处理。
广告
相关
头条
微软宣布将停止销售基于面部图像猜测情绪技术 微软宣布将停止销售基于面部图像猜测情绪技术
微软当地时间周二宣布,将停止销售基于面部图像猜测人们情绪的技术,而且将不再提供不……
·微软宣布将停止销售基于面部图像猜测情绪技术
·深度学习撞墙?LeCun与Marcus到底谁捅了马蜂
·阿里AI再突破,新研究成果斩获国际顶会杰出论
·苹果前机器学习总监离职后重回谷歌旗下公司
·达摩院大模型M6突破10万亿参数,超大模型首次
图文
脑虎科技:从0-1的探索 当脑机接口走过科学幻想之后
脑虎科技:从0-1的探索 当脑机接口走过科学
微软宣布将停止销售基于面部图像猜测情绪技术
微软宣布将停止销售基于面部图像猜测情绪技
ZAO隐私风险 你的脸已经不仅仅是你的脸了
ZAO隐私风险 你的脸已经不仅仅是你的脸了
九号机器人,这次想用AI运载机器人送快递送外卖
九号机器人,这次想用AI运载机器人送快递送
热点
·AI又出了偏门应用:用算法“脱掉”女性衣服
·ZAO隐私风险 你的脸已经不仅仅是你的脸了
·美的AIR空间站|你用过能管理空气的空调吗?
·新橙派果汁机器人引爆中国独角兽孵化合作大会
·民宿房东的辛酸史 用安伴门锁实现了合规运营
旧闻
·爱普生发布全新B2C战略及解决方案 造就精智生
·融云会客间|慧点科技畅谈移动办公的智能化之
·合作共赢 携手未来,第二十一届高交会智慧城
·央视聚焦618物流配送,泰坦机器人探索室内外
·华视电子推出智慧新警务的创新模式——智慧警
广告
硅谷精选
脑虎科技:从0-1的探索 当脑机接口走过科学幻想之后
脑虎科技:从0-1的探索 当脑机接口走过科学幻想之后
微软宣布将停止销售基于面部图像猜测情绪技术
微软宣布将停止销售基于面部图像猜测情绪技术
深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝
深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝
落户天津五年,一个“津漂”青年眼中的行业智能化巨变
落户天津五年,一个“津漂”青年眼中的行业智能化巨变
央视聚焦618物流配送,泰坦机器人探索室内外无人配送新模式
央视聚焦618物流配送,泰坦机器人探索室内外无人配送
当“哏都”遇上智能 “哏都人民”的另一面
当“哏都”遇上智能 “哏都人民”的另一面
关于我们·About | 联系我们·contact | 加入我们·Join | 关注我们·Invest | Site Map | Tags | RSS Map
电脑版·PC版 移动版·MD版 网站热线:(+86)010-57255600
Copyright © 2007-2021 硅谷网. 版权所有. All Rights Reserved. <备案号:京ICP备12003855号-2>