对 LLM 基准测试分数背后的指标与金标准标签进行的 25 项可复现审计
本文介绍了 25 项可复现审计,揭示热门 LLM 基准测试的评分代码和金标准标签中的具体缺陷,包括 NLI 数据集中的自相矛盾标注,以及 GSM8K 中最终答案与计算结果不一致的问题。
按来源浏览
本文介绍了 25 项可复现审计,揭示热门 LLM 基准测试的评分代码和金标准标签中的具体缺陷,包括 NLI 数据集中的自相矛盾标注,以及 GSM8K 中最终答案与计算结果不一致的问题。
Cactus Whistle 是一款 16.9 MB 的语音转文本模型,在 LibriSpeech test-other 上表现出与 Whisper base 相竞争的性能,速度略占优势、准确率相近,但在 test-clean 上未达到已公布的指标。该模型支持多种语言、词级时间戳,并可集成到工具调用系统中,是适用于 CPU 转录任务的多功能选择。
阿明·罗纳赫回顾了当下的软件开发现状,认为 AI 的广泛应用是过去 30 年间打造的低质量代码与系统所导致的结果。
Ideogram Vector 现已在 fal 上线。它可从文本生成可编辑 SVG,将已有图像转换为矢量图形,并支持用参考图像进行引导生成。
学习新知识时,没有专家资源不再是瓶颈。你可以让 AI 为你制作一段 5 分钟的视频来学习任何内容。这里有一个关于晶圆厂如何制造芯片的视频。
严重推荐! FrontierCS 2:计算机科学研究基准
AllenAI 在 Hugging Face 发布卫星嵌入模型 OlmoEarth v1.3,将 Sentinel-1、Sentinel-2 和 Landsat 时间序列压缩为全球每个 10 米像素的 128 维向量,并共享全年份预计算嵌入和浏览器端 OlmoEarth Embeddings Explorer。
Flint-interactive 为 AI 智能体提供了一种创建交互式可视化的语言。点击图表、筛选数据、高亮相关内容,并探索作者最初选定视图之外的内容。https://msft.it/6016aaFOu
Nectar 推出 agentic growth stack,用 AI 智能体分析 Instagram、TikTok、YouTube、X 和 Reddit 上视频的画面、旁白与屏幕文字,将每条帖子转化为 300+ 属性,以捕捉未打标签的品牌提及。
Karina Nguyen 引用美国多所大型银行检测到客户账户内未授权第三方 AI 智能体的报道,认为需要类似 OAuth 的 AI 智能体授权机制。她指出难点在于定义“替我处理”究竟授权了什么,尤其是智能体再委托其他智能体时,密码学可验证权限和审计轨迹,但更难的是防止一串合理决策变成用户从未同意的行为。
a16z 宣布将投资范围从加密货币初创公司扩展到更广的前沿科技初创公司,并将 a16z Crypto 更名为 a16z Frontier,同时继续投资加密领域并推动合理的加密监管。
今天我们公开分享 Figure 的内部全员大会
极米记得 AI 记忆手环 L1 于 10 月 22 日上架,提供黑色、米色配色,售价暂未公布。该产品支持腕上手环与胸前吊坠两种形态自由切换,可全天候 AI 录音并自动记录整理记忆,还支持基于个人记忆的 AI 对话、自动整理纪要与待办提醒,原始音频用完即删、记忆加密存于手机,综合续航 2-5 天。同日极米记得 AI 记忆眼镜 G1 也已上架,功能与手环相近。
黑石集团总裁乔恩·格雷反驳肯·格里芬的 AI 泡沫论,称 AI 领域是边建产能边追赶需求,与上世纪 90 年代电信泡沫截然不同。他以黑石与 Anthropic 共同成立的 AI 咨询公司 Ode 为例,表示客户需求近乎呈抛物线式增长,公司根本跟不上。
METR 与 Redwood Research 各派一名员工,于 7 月 21 日至 8 月 11 日对 OpenAI 内部失准监测系统开展三周高权限试点压力测试,产出 61 页内部报告。
邵猛用 Coding Agent 十多分钟复刻了大学时 Moto E770 上的第一个游戏「打砖块」,还模拟了手机外壳。他回忆大一攒了一学期才买到这部手机,如今手机早已在搬家中丢失。此前他提到这类小游戏现在 Claude Code / Codex 几分钟就能搞定,并想重做儿时失传的小游戏给儿子看。
Newcomer 长文复盘 Anthropic 从 OpenAI 出走团队到即将 IPO 的股权演变。据投资人文件和多位知情人士,多年来风投因公司治理结构和安全优先路线而观望,目前没有任何风投机构持股超过 2%,Anthropic 曾向投资人明确将单一投资人持股控制在该水平以避免话语权集中。
Claude Code 作者 Boris Cherny 在斯坦福课程 CS146S 分享五条原则,核心是把研发瓶颈系统化地自动化,并为六个月后更强的模型提前设计。
在推文里 @bot 说一件你拖了好几周的事。 看看它能多快搞定 👀
以色列安全公司 Lava 发现,32 块被禁止对华销售的 Nvidia B300 芯片出现在中国电信的地址背后。 据 The Information 报道。 这些芯片是通过 Nvidia 的 DCGM Exporter 暴露的,这是一个 GPU 监控工具,一些运营者将其在线开放且未设密码。
Dwarkesh Patel 花两天探访 Intel 晶圆厂并采访其工艺研发负责人、封装团队与 CTO,用动画讲解制程背后的技术演进。访谈覆盖 gate-all-around 晶体管、背面供电、High-NA EUV、CFET 堆叠晶体管、混合键合与钌互连等方向。
Spotify 在 Q3 财报电话会上解释其 AI 战略,联席 CEO Gustav Söderström 称 Spotify 是少数能在智能体时代受益的品类,目标是成为各种 Agent 调用的媒体服务。
PHP 中被发现的两个漏洞影响约 70% 使用 PHP 的网站,Wikipedia、WordPress、Drupal 等平台受波及,DeviantArt 和 4Chan 在漏洞披露后一度下线。漏洞存在于近 20 年来几乎所有 PHP 版本中,部分已停止维护的旧站点只能选择永久关停。
Lufthansa Systems 用 Figma Make 为 Lido Pilot Apps 的驾驶舱动态地图做原型,把 Figma 设计资产与外部数据源同时接入,让飞行员在更真实的场景中验证想法。
Tripo 官方宣布重建 Tripo Studio 的绑定与动画功能,面向游戏可用动作。主要更新包括全身及手部骨骼绑定、5 个引擎可用骨架预设、Text to Motion 文本生成 1-10 秒动画,以及最多可组合 5 段动作的多阶段 Motion,用户可自动绑定、动画并导出角色而无需重映射。
NVIDIA 发布 AIOps 平台 Minerva,汇聚 GPU、网络、存储、调度器与工作负载的遥测数据,用专用 AI 模型将数据转化为可执行洞察。该平台每小时分析数十亿数据点,通过动态知识图谱定位影响训练任务的组件,并把告警风暴聚合为单一事件与可能根因。
n8n Blog 发文讲解如何在自托管 LLM 与云 API 之间做请求路由,并给出混合方案。
我们的 CEO Pete Florence 做客 The Generalist 播客,畅聊机器人以及我们如何为物理世界构建。 @mariogabriele @thegeneralistco 收听完整对话——链接见下方评论
并非所有森林都一样,现在我们可以把差异绘制出来。🌳 认识一下森林类型图(ForTy):一张 10 米分辨率的天然林、人工林和农业林地图,帮助识别毁林并保护最重要的森林。🧵
AI 初创公司 Recursive 发布首个由 AI 系统 Eureka Machine 全程参与实验设计的开源语言模型 Flint,为面向本地智能体编码的 MoE 模型,总参数 40B、每 token 激活 2.5B,开发历时四个月。