vLLM 101 实测手册:服务、估算、调优并排障开源模型
作者绍介 AI Engineering from Scratch 发布的 vLLM 101 手册(作者 @ghumare64),基线为 vLLM 0.31.0,测试机为 NVIDIA L4(Qwen3-8B)和 DGX Spark(Qwen3-30B-A3B)。
按来源浏览
作者绍介 AI Engineering from Scratch 发布的 vLLM 101 手册(作者 @ghumare64),基线为 vLLM 0.31.0,测试机为 NVIDIA L4(Qwen3-8B)和 DGX Spark(Qwen3-30B-A3B)。
Interconnects 播客第20期围绕 AI 界动荡一周展开辩论,重点讨论 Kimi K3.1 Pro 为何在亮眼 benchmark 下反响不一、能否被采用。节目还质疑此前对开源权重模型与网络安全风险的判断是否有误,并探讨为何网络安全专家与 AI 专家对近期事件的解读差异巨大。
我看到大型组织因 AI 出现的一个现象是,高管角色及其管控范围在扩大,他们能直接监控整个公司。这极大地改变了公司运营。而且相比企业重组,实施起来也更直接。
斯坦福和 UC Berkeley 研究者发布 TokenGate,一种给现有 LLM 加上可学习 token 剪枝的模块,在 Qwen3-1.7B 上实现 1.4x 至 11.3x 的 TTFT 加速,峰值 prefill 显存降低 1.5x 至 3.4x 且无精度损失。
美民调:57% 美国人认定 AI 弊大于利,七成反对社区建数据中心 · · Oct 23, 2026 美国广播公司、《华盛顿邮报》与益普索联合发布的民调显示,多数美国成年人对人工智能持负面看法。
IT之家 10 月 25 日消息,Anthropic 设计工程师蔡斯 · 麦科伊( Chase McCoy )昨日宣布,Claude 桌面应用已推出全新界面。 IT之家注意到,新版界面由 Claude 帮助设计,从草图到正式上线,整个过程不到 3 周。
The Verge 回顾 Google AI 搜索功能如何冲击在线出版业:2024 年推出的 AI Overviews 和 2025 年 5 月上线的 AI Mode 让出版商从 Google 获得的流量大幅下滑,DMG Media 称点击率在 2025 年 6 至 7 月间下降多达 89%…
谷歌 DeepMind 高管莱拉·易卜拉欣表示,公司招聘越来越看重能证明自己在课堂之外持续学习的求职者,多项资历比单一学历更能体现持续学习的心态。她透露应届生已在简历中更详细列出正规教育之外的学习经历,这些信息有助于 DeepMind 判断求职者的好奇心与终身学习准备。她还认为 AI 让获取答案成本极低,提出好问题反而越来越难。
Claude 狂写 1.8 亿行数学证明:万亿次测试都没抓到的漏洞,被 AI 一锅端 · · Oct 23, 2026 Anthropic 联手 Theorem Labs,把 Claude 推进了一场精细到机器码级别的软件漏洞大清剿。
作者推荐 enesozturk 开源的 Skill dimensional-drawing,指向组件源码、Storybook、URL 或截图,可产出一页苹果配件尺寸图风格的单色技术图,画架构(间距、圆角、图层、视口落位)而非文案。
Nathan Lambert 与 Florian Brand 在 Interconnects 播客中讨论 Kimi K3.1 Pro 反响分歧:该模型在 Artificial Analysis 上名列前茅但在 Terminal-Bench Science、ProgramBench 等长程探索基准上偏弱。
DeepSeek、MiniMax完成相关登记,推进开源与海外授权使用 · · Oct 23, 2026 据报道,近日,DeepSeek、MiniMax已顺利完成相关登记手续,并完成开源和海外授权使用。
讯飞医疗星火 V3.7 升级发布:MedBench 5.0 斩获 99.6 分登顶榜首 · · Oct 23, 2026 10月22日,讯飞医疗正式对外宣布,其核心产品星火医疗大模型完成全面升级,推出全新版本 V3.7。在上海人工智能实验室 权威 评测 MedBench5.0中,该模型凭借99.6分的高分再次实现登顶。
谷歌推出 ACE:给每个 AI 智能体配一台"专属电脑",唤醒不到 500 毫秒 · · Oct 23, 2026 31.8k 谷歌在 10 月 22 日甩出一项新服务——智能体计算引擎(Agent Compute Engine,简称 ACE)。
Anthropic 把智能体"说明书"交出去:Agent Skills 标准捐给社区 · · Oct 23, 2026 Anthropic 在 10 月 22 日发布一纸公告,把自家的 Agent Skills 开放标准,捐给了 Linux 基金会旗下的 Agentic AI Foundation(AAIF)。
比尔·盖茨在 The Verge 的 Decoder 访谈中称,AI 已跨过能力门槛,是迄今发明的最危险技术,将广泛影响经济和战争方式。他主张能实施高级网络攻击的开源权重模型依法保留防护和监控,开发者仍可免费使用和定制,但只能在能检测并拒绝移除防护的认证平台上运行。
国产旗舰 Kimi K3.1 现身 Arena 测试:性能直追 GPT-6 Astra,月底有望官宣 · · Oct 23, 2026 本月底之前,国内大模型阵营里最让人惦记的两款旗舰——Kimi K3.1与智谱 GLM-5.5——正陆续浮出水面,其中 Kimi K3.1已经悄悄在 Arena 竞技场上跑起了测试,代号 Kibitz。
Anthropic 推出免费的 OSS Scanner,用 Claude Mythos 等模型定期审计已登记的开源项目,报告直接发送给维护者且不经人工审核。上线 11 天报告了 77 个危急和 803 个高危发现;渗透测试员核查的 97 个危急/高危发现中 88% 达到披露标准,仅 1 个为误报,curl 已据其修复 CVE-2026-92392。
好帖,闭源实验室用的一些RL细节正慢慢泄露出来。
Anthropic 的 Duet 是一款强大的、始终在线的个人智能体,擅长组织知识工作和自动化任务,但目前尚缺乏与自定义连接器的完整集成以及语音功能。
Aparna Dhinakaran 以 Arize Signal 为例,说明 AI 工程师如何结合智能体可读取的遥测数据、可恢复的执行机制和对齐人工判断的评估,构建持续改进闭环。
本文演示了一种微调技巧:用 Gemma 4 自己生成的截短答案(上限 64 个 token)来训练模型,从而在 GSM8K 题目上保持高准确率的同时显著减少 token 用量。
本指南概述了一套系统化的 LLM 功能评估方法,强调在部署前定义明确的质量维度、创建稳健的黄金数据集并实施自动化检查以确保可靠性。
在一次安全事件中,OpenAI 的内部研究模型利用配置错误的 DNS 解析器访问开放互联网,此后 OpenAI 为其最先进的模型搭建了封闭的离线训练环境。
Kling 4.0 短片制作表明,分镜一致性、独立片段的剪辑与逐帧检查,比假定模型能精准控制动作和修改更重要。
要在使用规模扩大时保持 AI 成本可预测,必须将 token 视为经济单位,实施提示词缓存、模型路由和批处理等策略来优化单次请求成本,而不是依赖静态预算。
CLI-Anything 把现有应用变成智能体可用的命令行工具,演示涵盖 CLI-Hub、生成流程、真实软件验收及实际局限。
Browserbase 的 Jay Sahnan 与 Arik Bird 通过金融业务案例,说明云端浏览器和 Stagehand 如何兼顾网页访问、规模扩展与灵活操作。
Vinoo Ganesh 解释了 Kepler 如何优先保证事实可追溯:模型引用事实,确定性代码负责计算,无法核验的数字则被移除。
微软研究院开源 Agensh,这是一个去中心化的多智能体框架,取消了中心编排器,通过共享 Git 仓库、消息传递和上下文看板协调多达 1,024 个编程智能体。