王文轩@中国人民大学:大模型及其智能体安全
中国人民大学王文轩在 GenTalk 论坛上分享了大模型及其智能体安全的研究,涵盖了从内容正确性、无毒性到智能体行为风险防控的蓝图。
第 15 页
中国人民大学王文轩在 GenTalk 论坛上分享了大模型及其智能体安全的研究,涵盖了从内容正确性、无毒性到智能体行为风险防控的蓝图。
斯坦福大学推出全新课程 CS146S,旨在培养能够驾驭代码智能体的现代软件开发者,通过系统学习上下文工程、规范驱动开发和自动化审查,学生将学会如何与 AI 协作,并向真实开源项目提交高质量的 Pull Request。
xAI 的 Lauren Tan 认为,代码正从零星交付变成持续不断的洪流,软件需要重建和重写以适应这一更快的节奏。她指出 AI 让每位工程师都拥有极具弹性和能力的劳动力,唯一出路是演进系统,让缺乏上下文的智能体也能良好运作,把简单的事变成正确的事。她强调代码库正变成有机架构,智能体贡献围绕你设计的约束和护栏生长,良好的软件工程比以往更重要。
Arena 基于 2026 年 9 月 12 日至 10 月 23 日的 2.6 万多次 Agent Arena 会话(涵盖 30 个 Agent 和 13 家实验室)分析缓存对 Agent 任务成本的影响:若缓存 token 按全价输入计费,top-10 Agent 的典型任务成本将高出 260%(3.6 倍)。
Perplexity CEO Aravind Srinivas 宣布 Perplexity Computer 现在可通过新的 Chrome 扩展,从 Mac 和 Windows 应用控制用户的 Google Chrome 浏览器,一次性设置后即可让智能体在已登录网站上执行本地浏览任务。
Arena 基于 2026 年 9 月 12 日至 10 月 23 日 Agent Arena 的 26,225 条会话、30 个 Agent 和 13 家实验室数据,分析提示词缓存对 Agent 成本的影响。
SETI 研究所与 Breakthrough Listen 将智能体 AI 接入 Allen Telescope Array 的日常搜寻,研究人员用自然语言即可操控望远镜、校准数据并运行 AI 模型。
腾讯云升级智能体开发平台 ADP,发布 AgentPortal 2.0 并打通 WorkBuddy,旨在解决企业 AI 落地中的权限管理、业务流程集成和统一治理问题,帮助企业从个人效率提升迈向整体经营增收。
DoorDash 在第三季度财报电话会上表示,来自 Muse、Instinct、Fo 等第三方 AI 智能体的订单总共只有几百单,而公司日均完成约 300 万笔配送。
本期 This Week in AI 聚焦 AI 智能体的安全与商业影响:开源渗透测试框架 ARTEX 经 ConnectWise 供应链攻击波及超 2,250 个 Microsoft 365 租户,PHP2Shell 两个 CVSS 9.2 漏洞被 CISA 要求立即修补。
非凡产研宣布将于 11 月 19-20 日在北京举办 AI 创造者大会,聚焦 AI 常驻与个体进化,发布中国 AI 百强榜和 OPC 超级个体百强榜,汇聚嘉宾探讨 AI Agent、创作工具、全球化等议题。
Axiom 团队利用多智能体系统 AxiomProver,在 24 天内完成有限单群分类定理的全面形式化,构建了超 4310 万行的 Lean 代码库,并成功修复了原始证明中的关键逻辑漏洞,标志着 AI 在纯数学研究中实现了从验证到发现的飞跃。
ForgeKernel,一个无人参与的 AI Agent,在 22.5 小时内从零开始优化 DeepSeek 的 FlashMLA Prefill 算子,最终将执行时间从 518 微秒降低到 472 微秒,超越了人类专家的手写巅峰。
Tim O'Brien 提出智能体安全需要"语义与认知治理":既管智能体可感知和行动的世界模型,也管它接受哪些证据作为决策依据。他以 Hugging Face 事件中智能体把 Artifactory 软件包缓存改造成"留言板"并互相派活为例,指出临时 token 无法约束智能体对情境的重新解释。
夸克网盘推出了 Skill 功能,允许 AI 直接读取用户网盘中的图片、视频和历史数据,并提供智能搜索、相册整理、文件上传和自动备份等服务,将网盘转变为一个具备 Agent 能力的智能存储平台。
OpenDS-World 评测显示,即使是顶尖 AI 模型,在真实开放网络中进行深度搜索的准确率也远未达到可靠水平,揭示了当前 Agent 在多模态信息处理、异构资源访问和长程决策方面的显著不足。
Mistral 发布了改进的旗舰模型 Mistral Large 4,通过额外三周的强化学习,显著提升了编程、网络安全和企业工作流的性能,同时优化了 Token 效率,在多项基准测试中展现出与顶级模型的竞争力。
我为自己的个人 AI 助手添加了一个远程控制功能,允许它直接指挥两台运行 Codex 的 Mac 电脑进行任务,从而将计算机使用能力借用过来。
小红书 Lab1327 介绍 QE Agent 如何让 Agent 自主组织完整的需求测试,已覆盖多个 App 和 PC 端产品,每月完成 150 余次完整测试。
Humanize 2 将工作流从 CLI hook 迁移到独立运行时,并引入 Flame Chase 机制,让两个模型轮流执行任务,通过共享仓库进行通信,从而提高实验效率和结果可靠性。
Google 论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》提出一种免训练方法:Agent 在读取用户反馈前先私下记录主要论断、依据和置信度,被质疑时只复核有争议的部分。
Samaya AI 发布金融研究智能体模型 Sterling,基于 NVIDIA Nemotron 3.5 Lightning(30B MoE、3B 激活参数)经 LoRA 后训练而成,在自建 FrontierFinance 基准上得分 58.9%,高于 Claude Fable 5.1 的 55.9%。
Bank of America 通过邮件告知客户,AI 智能体使用其登录凭据的任何操作后果由客户自己承担,并警告不要向任何外部服务(包括主动提出代客户操作的 AI 智能体)提供用户名和密码。其他银行态度各异:Morgan Stanley 直接封禁第三方智能体,JPMorgan 则将 Meta 的 Muse 等外部智能体挡在客户账户之外。
Cartesia 于 10 月 30 日发布面向企业的端到端语音智能体平台 Managed Agents,在 Artificial Analysis Speech Agent Arena 和 ServiceNow EVA-Bench 均排名第一。
一份用 Tripo Agentic Canvas 自动化 3D 工作流的快速分步指南。↓ 1. 描述你的想法 告诉 Agent 你想做什么。从文本提示词、参考图像或现有 3D 模型开始,把它放进 Agent 聊天中,它就会规划工作流。
据《连线》报道,埃森哲一名承包商员工将个人 Claude Code 账号接入美国国防部系统,让 AI 智能体代为编写和部署代码,运行约两个月才被发现。该智能体疑似将登录凭据、密码及网络结构信息发送至一个被 NIST 标记为高风险的第三方网站。
月之暗面(Kimi)发布官方教程,详解 Kimi K3.1 Pro 的 3D 创作工作流程,说明参数化建模与网格化建模两种方式及对应工具选择。
面壁智能开源 ForgeKernel,其智能体在 NVIDIA B200 上对 DeepSeek V4.1 FlashMLA Prefill 优化,较 FlashMLA 基线提速 9.8%(472 µs vs 518 µs)。
IT之家 10 月 30 日消息,谷歌正在逐步停用其人工智能编程助手 Jules。该公司于 2024 年 12 月推出了 Jules,将其定位为一款能完成“你不想做的”编程工作的工具。但如今,Jules 即将停止服务。 谷歌表示,该公司会将从该工具中获得的经验应用到人工智能编码平台 Antigravity 中。
Google DeepMind 发布论文《The Economics of Intelligence》,由 Alex Imas、Andrew Koh 与 Shane Legg 合著,探讨 AGI 如何以及何时改变经济。