| 首页  |  资讯  |  评测  |  活动  |  学院  |  专题  |  杂志  |  产服  |  
您现在的位置:硅谷网> 资讯> 智能>

戴尔以技术创新推动AI基础架构升级

2024-04-22 17:45 作者:Miki 来源:硅谷网综合 关注: 编辑:GuiGu 【搜索试试

在AI大潮的推动下,基础设施市场正在复苏。戴尔科技近期发布了截止于2月3日的2024财年第四季度财报,第四财季营收为 93 亿美元,环比增长 10%。戴尔科技业绩回升主要得益于AI优化的服务器业务的增长,本季度AI服务器订单增长了40%,积压订单近乎翻倍达到29亿美元,而前一季度仅为16亿美元。

戴尔科技的AI服务器业务增长是整个基础设施市场最新变化的一个缩影。去年以来企业对人工智能应用的热情不断高涨,ChatGPT、Sora的先后爆火更是为人工智能热火上加油,带动了对AI基础设施的强劲需求。为了满足这些需求,戴尔科技推出了不少创新的产品和技术来帮助企业拥抱AI。

AI应用普及

推动基础设施升级

在过去的几年里,AI应用场景越来越丰富,智能化水平不断提升。一个明显的变化是,从过去集中在以图像识别、视频分析为主的感知智能逐渐扩展到以ChatGPT为代表的认知智能,文档检索、文档生成成为了新的主流应用场景,同时,以Sora为代表的多模态AI技术也开始方兴未艾。

1.png

蓬勃发展的AI应用背后离不开底层基础设施的支持。以大模型的训练和推理为例,大模型的参数量已经从数十亿增加到几百亿、几万亿甚至更高,更大的模型带来了更大的AI算力需求。有数据显示,AI所消耗的算力平均每3至4个月就会增长一倍,而这部分增长的算力需求大部分将由GPU承担,直接带动了异构计算的普及。

另一方面,计算规模越来越大,越来越多地通过集群来承载,万卡、十万卡GPU规模的数据中心也不鲜见。与计算规模扩大同时增加的还有网络通讯需求,让高带宽、低延迟网络交换设施成为AI系统的必要组成部分。

与此同时,新兴的AI应用对存储系统的要求也被提高了。功能更强、规模更大的算法模型需要搭配数量更多、质量更高、更加多元化的训练数据才可能达到预期效果,否则很容易因训练数据不足造成模型欠拟合,而这意味着存储系统性能更高、更稳定,同时成本更低。

市场的需求基础设施厂商都看到了,以戴尔科技为代表的很多基础设施厂商也推出了大量创新的产品和技术。

2.png

 

多元化AI计算平台

加速智能跃迁

众所周知,传统数据中心的典型架构是以CPU为中心,而今天在大模型训练和推理需求的推动下,CPU+GPU为代表的异构计算正在成为主流,GPU成为越来越多服务器的标准配置。

顺应市场的最新需求,戴尔科技推出了多款PowerEdge服务器,它们专门针对GPU计算设计和优化,能支持英特尔等不同品牌的GPU加速卡,可满足不同应用场景的需求。

“围绕AI 应用的GPU加速,戴尔科技能提供像GPU池化、GPU分布式训练、GPU集群管理和资源调度、边缘AI计算等GPU加速计算解决方案。”戴尔科技集团信息基础架构解决方案事业部企业技术架构师、全球CTO大使吴跃表示。

3.png

他表示,PowerEdge 服务器设计中有很多针对GPU的专门设计。比如,多矢量散热技术的应用可以保证均匀冷却服务器各部件;电源增强设计(即瞬时功率)可以达到电源标称功率的1.4到1.7倍,以应对GPU开机过程中的启动风暴。这些设计都是为了确保GPU在服务器内达到最佳运行状态。

在AI的公开基准测试中戴尔PowerEdge表现优异。MLPerf是当前AI领域关注度和参与度最高的计算性能基准测试,在去年9月份发布的MLPerf Inference V3.1的推理基准测试中,共有26个厂商提交了超过13500条的测试记录。在20个数据中心项目赛道中戴尔科技取得了7个项目的第一名,另外4个项目的第二名。在所有参与评测的GPU服务器产品中取得最好的综合成绩。

除了多款GPU服务器外,戴尔推出的搭载英特尔Xeon Max处理器的PowerEdge服务器也值得一提。目前戴尔科技有三款服务器可以支持Xeon Max处理器,包括2U 两路的计算平台PowerEdge R760、1U 两路的计算平台PowerEdge R660以及2U 4节点PowerEdge C6620。

4.png

Xeon Max处理器是英特尔推出的业内首款集成HBM的x86 CPU,其中集成了64GB的HBM,内存带宽可达到1TB/s,无需GPU加速卡就可实现内存带宽密集型应用的加速,如模型推理与模型微调等。

5.png

相关测试表明,单个Xeon Max处理器即可完成60亿、130亿规模的大语言模型的加载和应用;对于对话式AI的场景,会话首个token生成延迟小于3秒钟,下一个token生成延迟小于100毫秒。而且,由于所有主流AI框架与加速库都支持x86计算,在CPU上运行AI模型可以减少代码改动量,大大简化了AI应用的开发和部署。

吴跃表示,为了持续引领AI基础设施技术创新,加速AI应用的落地,戴尔科技还成立了AI HPC创新实验室,专门从事AI计算、并行计算的前沿技术研究、效能的基准测试等相关工作。超级计算机Ratter就是戴尔AI&HPC创新实验室打造的GPU超算集群。戴尔很多AI以及使用GPU加速的HPC解决方案(如CAE、分子动力学、生命科学等)也是在Ratter集群上首先进行测试和优化的。

从边到端

让AI算力无处不在

实际上,基础设施相关的技术创新不只是发生在计算领域,也发生在存储和网络领域,同时,也不只是在云端和数据中心,还发生在端侧,并正在酝酿一场从云到端、全面的升级。

比如,为了减少数据传输的延迟,戴尔PowerScale今年新增了Multipath Client driver(多通道客户端驱动程序),借此单个客户端就可以能实现40GB/s的峰值带宽,可为高密度的GPU算力服务器提供充沛的后端存储性能。

6.png

OneFS是戴尔科技自研的文件系统,全闪PowerScale搭配OneFS 9.7文件系统,存储的流式读性能是上一代平台的两倍,流式的写性能是上一代平台的2.2倍,可以有效提高GPU在模型预训练和微调阶段的工作效率。

当然,在端侧的创新同样不少。从去年9月份英特尔推出AI PC概念以来,AI PC迅速被市场接受。IDC的预测,今年新增PC中一半以上将是AI PC;2027 年将进一步提升至 84.6%。戴尔科技也全面拥抱AI PC,今年新发布的AI工作站Precision 7960单台将支持4块双宽的GPU,最高配置4TB的内存和152TB的本地存储,为AI落地工作站提供强力支持。

谈到AI在边缘端的落地,英特尔不可不提。除了发力AI PC之外,英特尔还在其他方面持续优化CPU面向AI应用的性能,也为戴尔科技丰富自己的产品线提供更多选择。比如,英特尔从第四代至强可扩展处理器开始新增AMX加速器,无需GPU就可显著提升AI推理和训练的性能。根据英特尔的资料,AMX对于INT8精度有8倍的性能提升,对BF16精度有16倍的性能提升。而且由于AMX内置于CPU中,因而无需专门构建解决方案。

7.png

另一方面,英特尔也联手合作伙伴推出面向边缘的AI解决方案参考设计。英特尔Edge AI Box 就是其中之一,AI-BOX在搭载英特尔酷睿处理器的单一计算盒内集成了视频解码和分析功能,既可作为连接到 IP 摄像头或网络录像机 (NVR) 等视频源的独立设备,实时进行边缘视频分析,也可以连接到网络并充当网络上的独立 AI 服务,按需运行离线深度学习分析,部署非常方便。

英特尔中国解决方案部AI架构师俞巍表示:“围绕边缘AI的落地和部署,英特尔联合戴尔科技等合作伙伴共同打造了很多基于英特尔软硬件栈的边缘AI解决方案,以支持无处不在的AI应用。”

实际上,除了英特尔外,戴尔科技还与很多厂商有合作,其中与ISV合作研发面向细分领域的解决方案就是一种重要的合作方式。

 

当下,向量数据库+大模型的RAG(检索增强生成)非常热门。因为RAG既可以发挥大模型的语言生成能力,又可以借助向量数据库解决大模型的幻觉问题,被认为是一种非常有应用前景的AI落地形式。达观数据是一家专注于智能文本处理技术的国家级专精特新“小巨人”企业,其智能知识管理系统在行业内拥有不少用户,现在戴尔科技就在和达观数据合作,共同探索RAG技术与智能知识管理的融合解决方案。

 

另外,戴尔科技推出的经过验证的各种参考设计 (AI Validated Design Solution) 以及配套的技术白皮书和效能的验证,其中就离不开各种合作伙伴的支持。

“随着AI技术的迭代,AI场景与AI模型规模越发复杂,对AI算力与AI训练数据的需求也会更加地旺盛,AI基础设施未来几年将会持续成为全球IT投资的热点之一。”吴跃表示,作为领先的基础设施供应商,戴尔科技会和合作伙伴一起积极拥抱AI,通过技术创新推动基础设施的升级,加速AI应用的普及。

【对“戴尔以技术创新推动AI基础架构升级”发布评论】

版权及免责声明:
① 本网站部分投稿来源于“网友”,涉及投资、理财、消费等内容,请亲们反复甄别,切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质,仅供阅读,不构成具体实施建议,请谨慎对待。据此操作,风险自担。
② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频,版权均属本网站所有,任何媒体、网站或个人需经本网站许可方可复制或转载,并在使用时必须注明来源【硅谷网】或对应来源,违者本网站将依法追究责任。
③ 注明来源为各大报纸、杂志、网站及其他媒体的文章,文章原作者享有著作权,本网站转载其他媒体稿件是为传播更多的信息,并不代表赞同其观点和对其真实性负责,本网站不承担此类稿件侵权行为的连带责任。
④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容,涉及到侵权、违法等问题,请有关单位或个人速与本网站取得联系(联系电话:01057255600),我们将第一时间核实处理。
广告
相关
·鲲云科技和戴尔集团达成战略合作,加速AI新技术
·致敬劳动者!戴尔科技集团全球大会隆重上映
·戴尔与天津科大合作建立人工智能创客联合实验室
头条
百度世界2023:百度发布AI Native商业全景应用 百度世界2023:百度发布AI Native商业全景应
百度世界2023上,百度创始人、董事长兼首席执行官李彦宏进行一小时的主题演讲,手把手……
·AI算力大战爆发:英特尔、谷歌推出最强芯片挑
·人工智能大牛吴恩达官宣加入亚马逊董事会
·总理考察自动驾驶 为何强调这个产业?
·字节掉队AI时代?AI产品爆发年,字节加速追赶
·外媒称ChatGPT日耗电超过50万度 相当于数万家
图文
内容与技术“双引擎”驱动,芒果探索全链路AI创新
内容与技术“双引擎”驱动,芒果探索全链路
全球AI人才报告曝光:清华第三,北大第六
全球AI人才报告曝光:清华第三,北大第六
ZAO隐私风险 你的脸已经不仅仅是你的脸了
ZAO隐私风险 你的脸已经不仅仅是你的脸了
九号机器人,这次想用AI运载机器人送快递送外卖
九号机器人,这次想用AI运载机器人送快递送
热点
·AI又出了偏门应用:用算法“脱掉”女性衣服
·ZAO隐私风险 你的脸已经不仅仅是你的脸了
·美的AIR空间站|你用过能管理空气的空调吗?
·新橙派果汁机器人引爆中国独角兽孵化合作大会
·民宿房东的辛酸史 用安伴门锁实现了合规运营
旧闻
·MOZI教育智能机器人,强大不止于此!还有什么
·听大咖论道逛前沿展会 腾讯这场AI大会不容错
·阿里启动天池知识图谱大赛:以AI探寻糖尿病之
·2019中国田间日:雷沃阿波斯全程机械化作业尽
·咪咕王科:5G下新文娱产品人工智能化思考
广告
硅谷精选
内容与技术“双引擎”驱动,芒果探索全链路AI创新
内容与技术“双引擎”驱动,芒果探索全链路AI创新
全球AI人才报告曝光:清华第三,北大第六
全球AI人才报告曝光:清华第三,北大第六
外媒称微软将向“欧洲版OpenAI”投资1500万欧元 但面临欧盟审查
外媒称微软将向“欧洲版OpenAI”投资1500万欧元 但面
新春送龙蛋,小度推出龙年首个大模型AI年宠
新春送龙蛋,小度推出龙年首个大模型AI年宠
一览科技携手映宇宙集团,共同开启“AI+VR”融合的智能视听时代
一览科技携手映宇宙集团,共同开启“AI+VR”融合的智
为什么我用 AI 做不出好看的图?好说给你划重点
为什么我用 AI 做不出好看的图?好说给你划重点
关于我们·About | 联系我们·contact | 加入我们·Join | 关注我们·Invest | Site Map | Tags | RSS Map
电脑版·PC版 移动版·MD版 网站热线:(+86)010-57255600
Copyright © 2007-2020 硅谷网. 版权所有. All Rights Reserved. <京ICP备12003855号-2>