据外媒报道,风投公司Loup Ventures通过追踪当前四大AI助手在智能手机上的表现,于今天发布了“年度数字助手智商测试”结果。
Loup Ventures公司表示,谷歌Google Assistant、苹果(Apple)Siri、微软(Microsoft)Cortana在过去一年中都有所改进,但出人意料的是,该公司声称Siri的进步最快,而Cortana则远远落后于亚马逊(Amazon)的Alexa。
Loup Ventures为每个数字助手都提供了相同的800个问题,并将它们分为5个类别——本地、商业、导航、信息和指令。为了更好地反映现代智能助手的能力,今年的问题是从2017年4月类似的测试中修改而来的,这多少有点儿让人摸不着头脑。
总的来说,Google Assistant无疑是这次测试的赢家,它能百分之百的正确理解问题,并且给出85.5%的正确答案。在五类问题测试中,Google Assistant赢得了其中四类,仅在测试AI执行特定功能“指令”一项上落后于Siri。
四大AI助手的智商测试结果
Loup Ventures对Google Assistant在“信息”类中的表现给予了特别称赞,其在搜索信息时拥有几大优势:它可确认自己的搜索正确,找到正确的信息,并大声读出答案。
尽管Siri经历了所谓的低迷之年,但它在测试中仍名列第二。Loup Ventures指出,Siri能听懂99%的问题,在800道问题中给出了78.5%的正确答案。
Loup Ventures表示:“几乎每一个被误解的问题都包含专有名词,通常是指当地城镇或餐馆名字。除了那些非琐碎的细节之外,几乎所有的AI助手都会理解你对它们说的一切。”
Siri最大的优势在于回答与音乐有关的问题,它在控制手机、智能家居配件和其他功能的通用性方面表现也非常棒。Loup Ventures说,这些功能让Siri在理解用户意图方面具有更大的灵活性。
值得注意的是,与HomePod和Apple TV上的有限版本不同,iPhone上的Siri功能更全,比之前的智能音箱测试得分更高。
Alexa和Cortana落在Google Assistant和Siri之后,这两大AI助手理解查询的成功率都为98%,但Alexa的答对率仅为61.4%,而Cortana的答对率为52.4%。
Loup Ventures批评了Alexa在产品类别中对与商业有关的查询回应过于频繁,范围过于狭隘,迫使用户去做额外的研究。Cortana在整个测试中表现平平,在“商业”类别的表现尤其薄弱,因为它的正确响应能力非常差,只有20%。
Loup Ventures提及谷歌和苹果将它们的智能助手直接集成到手机上的能力,这与Alexa和Cortana相比具有天然的优势,后两者在Android和iOS手机上仅作为第三方应用运行。
由于所有的智能助手都显示了在语言处理和多设备支持方面的重大改进,Loup Ventures称并未奢望它们在解释精度上有更大飞跃。相反,AI助手将学会做更多的事情,并控制更大范围的设备。
Loup Ventures预计,Siri Shortcuts等新服务将通过让用户为应用程序和功能创建自定义语音命令来消除摩擦,而打车和支付等现有功能将变得无处不在。
|