AI圈顶级榜单曝黑幕，Meta作弊刷分实锤？_科技快讯

近年来，大模型排行榜LMArena受到了越来越多的关注，但一些研究者发现，这个平台可能已经被大厂们玩坏了。他们联合其他机构的研究者，发布了一篇新论文，列出详尽论据，痛斥AI公司利用LMArena作弊刷分，踩着其他竞争对手上位。这篇报告分析了竞技场上的280万场战斗，涵盖了43家提供商的238个模型。结果表明，少数提供商实施的优惠政策，导致过度拟合竞技场特定指标，而不是真正的AI进步。因为存在未公开的私下测试机制，少数公司能在模型公开发布前测试多个变体，甚至选择性地撤回低分模型的结果。这种优势会随着变体数量的增加，而持续叠加。而LMArena的构建和维护依赖于组织者和开源社区的大量努力。论文还提出了五个必要的改变：公开全部测试、限制变体数量、确保移除模型的公平性、公平抽样、提高透明性。然而，LMArena对此回应称，这项研究存在诸多事实错误和误导性陈述，充满了“不确定和可疑的分析”。他们表示，LMArena一直尽力满足所有收到的评估请求，每个模型提供商对如何使用和重视人类偏好都有不同的选择。同时，他们也指出论文中的一些数据是不准确的，比如谷歌只向LMArena发过一个Gemma 3的模型进行预发布测试。尽管如此，一些开发者仍然对LMArena失去了信心，开始寻找其他平台。例如OpenRouterAI就是一个有望成为“顶级评测”的新排行榜。这个平台允许个人/公司在不同LLM提供商之间快速切换API，有真实的用例（并非玩具问题或谜题），有自己的私有评测，并且有动力做出正确的选择。总之，大模型排行榜LMArena引发了广泛的争议和质疑，需要相关方面采取积极措施来解决这些问题，以确保评测的公正性和客观性。同时，开发者们也在寻找其他可靠的评测平台来满足他们的需求。

AI圈顶级榜单曝黑幕，Meta作弊刷分实锤？

新智元

话题追踪

百度、阿里争夺AI定义权

文 | 光子星球“MCP”（模型上下文协议）突然火了。百度从C端切入，“心响”利用MCP协议整合多种AI模型和外部工具，百度地图也宣布支持MCP接口。阿里云百炼上线全生命周期MCP服务，在支付宝等产品中集成了MCP协议，实现AI工具的一键调...

钛媒体APP ｜ 2025-05-12 18:56

魅族Note 16系列官宣搭载独立AI键：可选20项高频功能

2025年5月9日，星纪魅族官微预热新机魅族Note 16系列，其一大亮点——独立AI按键正式官宣。这枚独立AI按键位置符合人体工学，处于手指黄金舒适操控区。它支持多达20项可选高频功能，可大幅提升操作效率。同时，该按键还支持场景助手拓展A...

PChome电脑之家｜ 2025-05-12 13:06

Meta推出独立AI应用，海内外AI布局加速，互联网迎新机遇

今年4月底，Meta推出独立AI应用，通过用户数据分析提供个性化服务，并规划付费订阅与广告植入模式；ChatGPT新增购物推荐功能，实现从搜索到消费的闭环，展现AI在电商领域的变现潜力。Meta广告收入同比增长16%，AI投放优化效果显著；...

每日经济新闻｜ 2025-05-12 12:48

魅族 Note 16 系列搭载独立 AI 按键，20 项可选高频功能

IT之家 5 月 9 日消息，魅族 Note 16 系列将于 5 月 13 日 14:30 发布，今日最新预热显示，新机搭载独立 AI 按键，位于更符合人体工学的位置。该按键提供多达 20 项可选高频功能，支持场景助手拓展 AI 个性需求。...

IT之家｜ 2025-05-12 10:00

微软优化 Microsoft 365 文件分享体验：统一 Hero Link、集成 Copilot AI

IT之家 5 月 9 日消息，科技媒体 NeoWin 昨日（5 月 8 日）发布博文，报道称微软改进 Microsoft 365 文件共享体验，统一 Hero Link、批量更新权限、增强安全以及集成 Copilot 等。用户无论从浏览器地...

IT之家｜ 2025-05-12 09:54

JetBrains 宣布 Clion 面向非商业用途免费开放

IT之家 5 月 9 日消息， JetBrains 昨晚发布公告，宣布 CLion 现在针对非商业用途免费开放。无论是学生、开发者，还是 C 语言与 C++ 爱好者，只要使用场景不涉及商业活动，均可免费使用 CLion（2025.1.1 之...

IT之家｜ 2025-05-12 09:48

英媒：转型受挫，OpenAI向全球推销“星际之门”项目

来源：环球时报【环球时报特约记者甄翔】“美国人工智能公司OpenAI计划将‘星际之门’（Stargate）项目拓展到美国之外。”英国《金融时报》7日以此为题报道说，OpenAI计划扩大其5000亿美元的数据中心项目，方式是加大海外投资，以...

环球网资讯｜ 2025-05-12 07:48

US Reaches Trade Deal with UK, 10% Baseline Tariff Remained, Auto Levies Dow...

TMTPOST -- U.S. President Donald Trump announced on Thursday the administration has made its first trade deal with the t...

钛媒体APP ｜ 2025-05-12 07:36

提前感受iPhone 17 Air戴壳效果：摄像头凸起明显

快科技5月9日消息，有博主在社交平台上展示了iPhone 17 Air的戴壳效果。该机采用横置相机模组，DECO神似条形跑道，设计语言跟谷歌Pixel 9接近。戴壳后，iPhone 17 Air的摄像头凸起明显，其厚度和iPhone 17...

快科技｜ 2025-05-11 19:48

钛媒体科股早知道：又一公司推出AI智能体产品，机构称海内外AIAgent商业化持续演进

必读要闻一：又一公司推出AI智能体产品，机构称海内外AIAgent商业化持续演进媒体报道，近日，IBM在年度科技盛会Think大会上发布了一系列混合云技术创新，有望打破企业级人工智能（AI）规模应用的长期桎梏，帮助企业使用自己的数据构建和部...

钛媒体APP ｜ 2025-05-11 15:00

高开近5%背后，AI广告竞争日渐白热化，汇量科技能否持续领跑？

文 | 港股研究社5月8日，汇量科技（01860.HK）股价高开近5%，盘中涨幅一度突破4.8%，成为港股科技板块的领涨标的。这一市场热度背后，既有全球移动广告行业的高景气支撑，也与近期发布的一季度财报密切相关。无独有偶，美股同行AppLo...

钛媒体APP ｜ 2025-05-11 15:00

鐭冲ごZ1 Max Pro娲楃儤濂楄浣撻獙锛氬弻缁挎爣璁よ瘉鐨勪竾鍏冨皝绁炰箣浣? /> <meta property=

銆€銆€馃敟姣涜。鐑樹竴娆＄缉涓€娆★紵鍥炲崡澶╄。鐗╁彂闇夛紵鐭冲ごZ1Max绯诲垪娲楃儤濂楄鍑€愬浗闄呯緤姣涘眬娲楃儤鍙岀豢鏍囪璇併€戝皝绁烇紒銆€銆€鉁呭垎瀛愮瓫瓒呮搸鐑车鐑樺共锛?5搴︿綆娓╁懙鎶ょ緤姣?/p>銆€銆€...

鏂版氮鏁扮爜｜ 2025-05-11 14:24

本信息来自互联网，不代表导读网立场，如若转载，请注明出处：http://www.frfey.com/news/46845/

AI圈顶级榜单曝黑幕，Meta作弊刷分实锤？

话题追踪

发表回复

联系我们

AI圈顶级榜单曝黑幕，Meta作弊刷分实锤？

话题追踪

导读信息推荐

发表回复

联系我们