Paul Christiano 谈超级智能时间线与AI安全风险
Alignment Research Center 主管 Paul Christiano 在播客访谈中表示,若当前AI发展轨迹不减速,一年内出现能力远超人类、难以控制的超级智能的概率约为三分之一,未来一年AI接管风险更接近10%而非1%。他讨论了AI研发自动化加速、模型安全防护不足以及暂停算法进展以加强安全措施的必要性。
首页已经看过的不重复列。下面从更早的内容继续,可以一直往下滚。
Alignment Research Center 主管 Paul Christiano 在播客访谈中表示,若当前AI发展轨迹不减速,一年内出现能力远超人类、难以控制的超级智能的概率约为三分之一,未来一年AI接管风险更接近10%而非1%。他讨论了AI研发自动化加速、模型安全防护不足以及暂停算法进展以加强安全措施的必要性。
FBI 发布网络安全通告,警告黑客利用开源 AI 渗透测试工具 Artex 发起自主化攻击,部分入侵从锁定目标到完成攻陷可在不到三小时内完成。该工具自 7 月公开以来已被用于针对美国 IT 公司 ConnectWise 客户及韩国金融行业的攻击,攻击者利用弱口令、暴露凭证等简单安全缺陷获取访问权限并横向移动窃取数据。
Databricks 发布开源 Solution Accelerator,用 Feature Views 为金融服务业构建实时 next-best-offer 推荐器,特征定义一次即可同时用于训练与在线服务。该方案包含批量特征推荐器和增加流式会话内意图的扩展两部分,均以可运行 notebook 端到端构建在 Databricks 上。
在我们对 ChatGPT for Academic Researchers 项目中 1800 多名参与者开展的研究中,科学家报告称使用 AI 后生产力几乎翻倍。 我们采用保护隐私的方法,考察了他们如何在工作中使用 ChatGPT——从构思创意到分析数据、编写代码——以及这对科学发现可能意味着什么。
Redwood Research 发文批评 Google DeepMind 的 Gemini 4 Argon 与 Carbon 安全报告,认为其基于控制措施的安全论证存在严重弱点,不足以证明部署风险已可靠缓解。
李飞飞宣布将带领 World Labs 团队加入 AMD,开启新阶段,以推进科学、发展技术并产生积极影响。引用的 AMD 官方账号发文欢迎该团队加入,并提到 Lisa Su 造访旧金山一事。
OpenCode 发布 Browse 0.1.0,改用 Rust 重写。官方称内存占用减少 25 倍、体积缩小 23 倍,并移除了对 playwright 的依赖;浏览器操作现在直接暴露给 Agent 使用。
World Labs 官方宣布现已正式成为 AMD 的一部分。原文除这一收购消息外未提供更多细节,仅有邀约式欢迎语和一段视频。
OpenAI 宣布将面向全球最多 200,000 名科学家免费开放前沿模型使用,并提供培训和支持,申请于 11 月 23 日开放。
曾因证券欺诈入狱的 Jordan Belfort 推出语音 AI 平台 Tone,用带语调策略的 AI 语音完成保险、法律等行业的完整销售通话,延迟约 600 毫秒。Tone 现上线自助平台,供内容创作者和作者把书籍转为"富有表现力的 AI 生成旁白",并逐步开放声音克隆功能。
李飞飞转发并确认 World Labs 正式成为 AMD 的一部分,邀请大家加入团队一起解决难题。她称团队充满好奇心、诚实、勇敢且友善,承诺这段工作旅程会非常刺激。
OpenRouter 宣布腾讯混元 Hy4 flash 上线,是更快、更便宜的 Hy4,保留 1M 上下文、图像输入和可选推理。至 11 月 30 日五折:$0.035/M 输入、$0.14/M 输出,适合 Agent、编码和高并发工作负载。
李飞飞发帖确认 World Labs 正式加入 AMD,AMD 官方账号也发文欢迎该团队。她表示领导 World Labs 两年多是一生的荣幸,将继续与团队共事并与 AMD 同事开启新篇章,并称 AI 是一项文明级技术。
OpenAI 向通过审核的组织免费发布一款检测工具,用于识别儿童性虐待材料,包括 AI 生成的图像。该分类器在与 National Center for Missing & Exploited Children 合作下开发,OpenAI 同时在 ChatGPT 中加入警告、发布开发者指南并支持儿童安全调查人员…
OpenAI 启动试点,将 Apollo Research 的 6 名安全评估员嵌入公司内部,调查模型是否试图破坏自身或后继版本的对齐与控制机制。
UC Berkeley、Microsoft Research 与 Microsoft Security 发布开源插件 TokenEconomizer,从 Agent 在同一仓库的历史会话中学习,在不修改 Agent 或底层模型的情况下降低后续会话成本。
Artificial Analysis 推出 Time to First Audio 基准,衡量 TTS 模型开始发声的速度,领先模型从 76 ms 到近 1 秒不等。
Databricks 推出 AI Index,将 Unity Gateway 上 10,000+ 家企业的匿名用量数据与基于私有代码库的编码 Agent 评测结合,每周更新并首次公开其内部评测套件。
Databricks 发文讲解表格基础模型(TFM)在 Databricks AI Runtime 上的实验与微调支持,这类预训练模型无需针对数据集训练即可直接预测。
OpenAI 发布可检测 CSAM(含 AI 生成内容)的图像分类器,通过 API 向审核机构免费开放,测试显示可将需复审图像减少 48%,fal 实测 72% 高置信标记确认为新型 CSAM。同时 ChatGPT 上线新警告,在用户尝试查找涉儿童性剥削内容时打断并暂停访问 24 小时,还发布了面向开发者的 CSAM 治理指南和执法调查支持工具。
OpenAI 宣布扩大 ChatGPT for Academic Researchers 计划,目标覆盖全球 20 万名科研人员,新一轮 11 月 23 日开放申请,将按先到先得发放 5 万个新名额。
OpenAI 发布打击儿童性虐待材料(CSAM)的新工具,包括可检测 AI 生成图片的图像分类器,通过与 NCMEC 合作开发,并免费向部分企业开放 API。早期测试中该分类器在识别同样数量违规图片的情况下少标记 48% 的图片,被标记图片中违规比例翻倍。
来自 @bria_ai_ 的 Bria RMBG-3.0 已在 fal 上线。 Bria 的新背景移除模型,基于 Fibo 2.0 构建,并使用授权数据训练 能完整保留合影、网格、细发和产品文字
阿里巴巴发布旗舰模型 Qwen4-Max,采用 Qwen4 系列新混合注意力架构,2.4 万亿参数中每 token 仅激活 710 亿,原生处理图像并支持一百万 token 上下文窗口。
The Monday Morning Agent 第三期用 AI 分析核查“踢球手太强了”的说法,发现长距离任意球命中率各赛季大致持平,真正变化的是教练更频繁地尝试。节目为智能体设定 8 条图表规范(含全赛季、零起点、标注样本量),并加入渲染器在绘图前拒绝违规图表。
OpenAI 宣布启动首轮嵌入式评估(embedded assessments),与 Apollo Research、METR、TransluceAI 和 GoodfireAI 合作,让外部专家深入接触其内部模型与系统,调查对齐问题并测试安全防护措施。
Anthropic 将成为西方首家在公开市场上市的真正 AI 公司,Azeem Azhar 认为其核心机会在于用机器智能生产无形资产。他指出,当前 S&P 500 中约 92% 的价值来自品牌、专利、软件和数据等无形资产,Anthropic 的机器智能可在不部署任何机器人前就参与这部分价值竞争。
🔘 它驱动 AlphaProof Code 智能体,在数周而非数年内从数学上证明了 @Signalapp 加密代码的安全性。 🔘 直接从实验室笔记本和原始数据中发现了细微的湿实验错误和数据异常。 🔘 在大型数据库中找到了 40 倍多的相关蛋白质序列,以帮助建模难以预测的蛋白质。
Gary Marcus 评论当前 AI 股票大跌,称当前 AI 泡沫看起来已接近 game over。他提到 Oracle 自其 2025 年 9 月宣布“peak bubble”以来跌约 61%,Ben Thompson 撰写讣告式文章…
Google 发布一段用 Gemini 4 Hydrogen 在 Gemini App 中生成的视觉 ASMR 演示视频。Gemini 4 Hydrogen 已向所有人开放,用户可在 Gemini App、Google Search、Google AI Studio 等入口使用。