- 苹果公司的研究人员开发了一种新的人工智能系统来“看”和解释co来自屏幕内容的文本。
- “参考分辨率作为语言建模”系统允许与人工智能进行更自然的交互。
- ReaLM背后的研究人员表示，它在理解上下文方面优于OpenAI的GPT-4。
苹果在人工智能领域的新发展旨在取代OpenAI的GPT产品，并可能使你与Siri等虚拟助手的互动更加直观。
ReaLM系统代表“参考分辨率作为语言建模”，可以理解屏幕上模糊的图像和内容以及对话上下文，从而与人工智能进行更自然的交互。
本文仅对Business Insider订阅者开放。成为业内人士，现在就开始阅读。有账户吗?．据开发该系统的研究人员称，在确定上下文和语言表达所指内容方面，苹果新系统的表现优于GPT-4等其他大型语言模型。而且，作为一个比OpenAI的GPT系列等其他大型语言模型更简单的系统，研究人员称ReaLM是一个“可以在不影响性能的情况下存在于设备上”的上下文解码系统的“理想选择”。
有关的故事
例如，假设你让Siri向你展示当地药店的列表。当你拿到名单时，你可以要求它“打电话给彩虹路上的那个”或“打电话给最下面的那个”。据开发ReaLM系统的苹果研究人员称，有了ReaLM, Siri不会收到要求提供更多信息的错误信息，而是可以比GPT-4更好地破译完成任务所需的上下文。
研究人员在谈到ReaLM的能力时写道:“人类的语言通常包含模棱两可的引用，比如‘他们’或‘那个’，在特定的语境下，它们的意思(对其他人来说)是显而易见的。”“能够理解上下文，包括像这样的引用，对于会话助手来说是必不可少的，它旨在让用户自然地将他们的需求传达给代理，或者与它进行对话。”
ReaLM系统可以解释嵌入在文本中的图像，研究人员说，这可以用来从页面上的图像中提取电话号码或食谱等信息。
OpenAI的GPT-3.5只接受文本输入，而GPT-4，也可以将图像语境化，是一个大型系统，主要训练自然的、真实的图像，而不是截图——苹果研究人员说，这阻碍了它的实际性能，使ReaLM成为理解屏幕信息的更好选择。
“在开发对话式人工智能方面，苹果一直被视为落后于微软、谷歌和亚马逊，”The Information报道。“这家iPhone制造商以谨慎、深思熟虑地开发新产品而闻名——这种策略在赢得消费者信任方面效果很好，但在快节奏的人工智能竞赛中可能会对它造成伤害。”
但从ReaLM的功能来看，苹果似乎已经准备好加入这场竞赛了。
ReaLM背后的研究人员和OpenAI的代表没有立即回应Business Insider的置评请求。
目前尚不清楚ReaLM何时或是否会被应用到Siri或其他苹果产品中，但首席执行官蒂姆·库克在最近的财报电话会议上表示，公司“很高兴在今年晚些时候分享我们正在进行的人工智能工作的细节。”
