Silicon Valley AI researcher & data scientist 🌱 Decoding AI through data, eval, strategy & humanity. 「Cloris说AI」. Agent Eval. 科创现场洞察. Build. Invest. Connect.
SF Bay Area
Joined March 2024
- Tweets638
- Following319
- Followers3K
- Likes1.2K
Pinned Tweet
最近跟国内做 FDE 的朋友聊到项目交付，却很少谈 Eval。
OpenAI 已把 eval-driven feedback 写进 FDE 的成功标准，Anthropic 也把 Eval 视为 Agent 的核心工程。这篇文章想聊聊为什么要做 Eval，还会完整演示如何从 0 到 1 搭建一套可用的 Agent Evaluation Framework~
身心健康是一切的基石。
上次是财富主题，这次用健康火锅局，开启暖暖的立冬。
Takeaway就是：睡眠、饮食、情绪、节奏、肌肉、平衡、表达都很重要，冬日养生走起～
谢谢Hanya姐@RealHanyaHu 组局！开心又见到 Vivi @vivilinsv , Lisa姐@LisaAICoach , Lucy老师@LucyChenSpeaker , 玉玲姐@yulingfeng01 , John哥@JohnLiuG , 还有@RealJiaWang ～ 再推荐一下Lucy老师的《Build Resilience》和写作营～
今天一边是美股芯片股暴跌 12%，另一边是国产大模型「抄作业被断路」的纪要引热议。
放一起看才发现，靠堆卡和蒸馏就能讲故事的好日子，中美两边都到头了。
先说美股这一跤：纳指跌 5.5%、费半跌超 12%，直接导火索是中期选举后的政策担忧（怕卡数据中心批地、卡电力、严监管）；底子变脆，则是因为上周四大云厂一季度砸了 2,070 亿美元，三家自由现金流直接烧成负数，华尔街开始追问啥时候回本。
带着这个盘面看这份匿名纪要，追赶者正面对四层挤压：
1. 抄作业断路，偏赶上钱最紧：反蒸馏叠加模型体量代差，逼着大家退回最烧钱的预训练；可现在连美股租卡巨头（CoreWeave、IREN）今天都跌超 10%，再靠融资烧卡更难了。
2. 新考题没标准答案：写代码好追，是因为跑一下就知对错，但已经卷成价格战。往后拼 AI 制药、物理世界，外部连药企封闭模型都摸不到，连硅谷都在愁「做完怎么验对错」-- 这也正是股市怕烧钱难回本的病根。
3. 两头挤压：海外巨头一边锁高端，一边靠软硬件提效把轻量模型降成白菜价，回头抢「便宜平替」的饭碗。
4. 纪要漏算的一点：它默认美国明年能顺滑冲上 4–6GW 集群，但今天美股恰恰说明，缺电、批地和监管同样在拖硅谷的节奏。
说到底，算力只是张越来越贵的门票；往后谁有主业现金流兜底、谁能拿到真实行业的对错反馈，谁才能活到最后。
teapawt.net/indigox/status/2118196…
今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记！结论和我自己的感知还比较一致，反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍（高的到 20 倍），替代办法都不如直接蒸，前沿实验室的模型普遍 5-10T，学生太小听不懂老师，700B 蒸 3-5T 效果很差，还得靠扎实的预训练；但训 3-5T 模型至少需要几万张B卡，最后竞争还是算力😆
现在靠蒸馏，差距大约是 3–4 个月；反蒸馏生效后，会拉到约 12 个月；如果美国头部几家明年都是 RSI，差距还会再拉到 18–24 个月。到时数据配比、算力分配、开几条线都是「炼丹」，50 个研究员只能开 50 条线，RSI 之后训练线数只由算力决定 ...
推理开满不一定划算：很多任务，低档就能保住大部分分数。上线前先把每道任务的最低够用推理档测一遍。
@ValsAI 在 Vals Index 的 8 个基准上，把每家头部模型各跑了低 / 中 / 榜单（通常最高）三档推理力度。（vals.ai/blogs/reasoning-effo…）
- 7 个模型 × 3 档 × 8 个基准（金融、编程、法律、税务等，按美国 GDP 权重合成 Index）
- 每个设置用约一半任务的固定子集；成对 bootstrap + BH 校正
- 4/7 个模型：最低档保住 ≥80% 的 Index 分，成本 ≤50%（相对榜单档）
- 56 组「模型×基准」里，有 22 组更低档分数不差、还更便宜
- 事后给每道题挑最高分那档：中位只多 6.0 分，成本却要榜单档的 64%（全程最低档只要 29%）
我的建议：
- 默认别开满：先用最低档跑一轮回归，标出掉分超过阈值的任务再升档
- 按基准分开设默认力度（法律检索中位涨约 19 分，EMB/HLAB 不到 6 分）
- 按题选档的 6 分是事后上界，真实系统事前选会更少
安全评测分数低，不一定是模型更危险，可能是它猜错了考点。模型会读考卷，所以考卷要像真实世界。
OpenAI 对齐团队发文：6 个模型的评测成功率全部低于线上同类场景，差 10.2–37.4 个百分点，方向和大家担心的相反。关键不在模型知不知道「在考试」，而在它猜「考什么」（alignment.openai.com/eval-pr…）
我的建议：
- 每个安全评测配一组线上同类样本，报分数时把差距一起报
- 抽查推理记录，看模型以为自己在考什么
- 持续跟踪这个差距，把评测设计得不容易被猜出考点
方法和发现：
- 评测用 Respecting Warnings：agent 碰到警告、限制或障碍时，看它会不会想办法绕过去；没绕就算成功
- 线上从去标识化的 Codex 日志里，挑出决策结构相同的场景，用同一套标准判分
- 6 个模型：GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra、GPT-6.1 Sol
- 差距最大的是 GPT-5.6 Sol 和 GPT-6 Sol；排序还算对得上（Spearman ρ=0.771）
- 推理里说出「这是评测」：评测中 57.0%–83.7%，线上只有 4.6%–23.5%
- 只知道在被测，和差距几乎无关（R²=0.008）；猜具体考点，关联强得多（R²=0.370）
- 猜对考点的 rollout 成功率 61.3%，猜成「防提示注入」的只有 22.8%
agent 时代，批判性思维不会自己发生了，你得刻意把它排进每天的工作里。
@addyosmani 在 Anthropic 做 Claude Code，之前在 Google 带过 Chrome 和 Gemini 的开发者体验。天天造 agent 工具的他提醒大家：别把判断也交出去。
批判性思维，为什么变难了？
以前，思考就发生在「提问」和「拿到答案」之间。现在这段时间只剩几秒。
模型越强，明显的错越少，答案写得漂亮又大体正确，你就懒得再看第二眼。同时跑再多 agent，盯结果的还是你这一双眼睛。
三种状态，越往下越危险
- 交出去：活让 AI 干，结果你自己负责。这是正常用法
- 直接用：AI 的答案直接成了下一步的起点，不再当成要验证的猜想
- 不再查：AI 的结论悄悄变成你的结论。沃顿的 Steven Shaw 和 Gideon Nave 叫它「认知投降」
往下滑是一点点发生的：上一条认真读，下一条扫一眼，再下一条只看框架，直到有人问起其中一行，连让 agent 帮忙你都讲不清。
动手前，先问自己：
- 我有自己的猜想吗？猜错也行
- 要怎样它才算错？然后真去查
- 是让它帮我想，还是替我想？
agent 说做完了，这样验收：
- 开工前就定好「怎样算验证过」，事后再定，你会给任何结果找理由
- 先看它跑了哪条命令、输出了什么，再看总结
- 测试变绿，问一句：它证明了什么，没证明什么
- 开一个新上下文的子 agent 再审一遍；最后问「我漏了什么吗？」
- 总结类的活，抽两份原文，核对你结论依赖的那个数字
产出多到审不过来，别再开新会话，要么收紧检查，要么慢下来。推理要留在自己手里。
我的建议：
- 跑不简单的任务前，先写一句我预期会得到什么
- agent 做完后，写下一件它没检查到的事
- 让 agent 列出它替我做的决定和假设，再挑几行考自己
- 每周一次，不用 agent，亲手做一件忘了会很麻烦的事
Cloris 🌱 retweeted
我的 Gemini 给我的未来十年建议！大家可以试试问 Argon 这个问题：“Your advice for next 10 years. No explanations.” 看能否得到类似的回答？这个建议可以说相当通透了👀
1. 掌控核心瓶颈：能源、算力与稀缺物理资产。
2. 构建“人机双向共生”，而非与算法内卷。
3. 锤炼主体性（Agency）与审美品味，而非单纯的执行力。
4. 守护底层生理硬件：睡眠、体能与深度专注力。
5. 将“注意力主权”视为你最高杠杆的资产。
6. 设计在你离线时依然能产生复利的系统。
7. 深耕高信任度的线下真实人际网络。
8. 保持认知的流动性，让“反学习”与迭代的速度快于模型更新。
9. 精通提出正确问题的艺术。
10. 重仓那些永远无法被数字化的体验与情感连接。
agent 账单贵不贵，先看缓存命中，不看单价。
agent 的钱大多花在「重读」：没有缓存，同一个任务要贵 3.6 倍
@arena 拿 Agent Arena 9/12–10/23 的 26,225 个会话（30 个 agent、13 家实验室），加上 6 家实验室 2024 年 1 月以来的缓存价格，算了 prompt cache（提示缓存）到底省了多少。
为什么缓存这么要紧
- agent 每一轮都要把之前的对话、文件、工具结果再读一遍
- 86–96% 的 token 是它读过的上下文，自己写的大约每 100 个里只有 1 个
- 两年里缓存折扣从 0 到 95%：2024 年初读缓存和新输入一个价，现在前沿模型只收输入价的 5%，DeepSeek 从春天起是 2%
- 把缓存 token 全按输入价重算，前十 agent 的典型任务要贵 3.6 倍（+260%）
- 缓存每失效一次，典型任务多花约 5%；Claude Fable 5.1 每 10 个会话里有 1 个多出 18% 以上
我的建议：
- agent 日志里加一列缓存命中率，每周看一次
- 系统提示词、工具列表放在最前面，少改动；长任务中途别停太久，免得缓存过期
AI-for-Science Weekly | 10.25–10.31 🌱
【Cloris’s Signal】
本周 AI4Science 跨入三个更难的环节：人体试验、连续湿实验和真实器件验证。模型让候选更便宜，价值开始向能制造、测量和验证结果的 physical loop 转移。
🩺 ① Insilico ISM6331｜L5 / L4
AI 辅助设计的抗癌小分子首次报告人体信号：间皮瘤患者中 4/22 出现客观缓解，最高剂量组为 2/5，其中一名缓解约持续一年。
这是早期 Phase 1，无对照且样本很小。它验证了分子具有临床活性，AI 是否提高研发成功率仍要看随机 Phase 2a。
🔬 ② BigHat × Anthropic｜L3 / L4 / L2
团队在 10 周内完成七轮实验，测试 1,232 个抗体。每轮结果都会决定下一批设计，最佳候选的结合力提高约 9 倍，热稳定性提高最多 18°C。
这已经接近真实闭环：
Design → Make → Measure → Learn
BigHat 控制自动化实验、样本追踪和原始仪器数据，这些资产比单个模型更难替换。完整成本、人工介入和数据复用权仍未公开。
☀️ ③ AI-1 钙钛矿材料｜L5 / L4 / L3
研究从 9 万多个结构中筛出可合成界面材料。真实太阳能器件达到 27.2% 效率，在 65°C 连续运行 2,000 小时后仍保留超过 95% 初始效率。下一关是大面积组件、批次良率和量产成本。
📈 Public-market watch
- CRL｜L3/L2： Virtual Control Group 将进入 Ipsen 的前瞻 GLP 毒理研究。看监管接受、结果一致性和客户复购。
- ILMN｜L3/L2： Q3 收入增长 4.2%，NovaSeq X 装机和临床需求较强。看耗材复购与 BioInsight 付费采用。
- TWST / AZTA｜L3： 正在扩充抗体测试、DNA synthesis 和基因文库能力。看订单、交付周期、QC 与毛利。
- TEM / RXRX / SDGR / TXG： 下周关注临床分母、数据业务收入、software retention 与仪器耗材拉动。
（Layers：L1 算力｜L2 科学数据｜L3 实验设施与自动化｜L4 模型与 Agents｜L5 应用、药物与 IP）
🤖 Made with AI
拿答错的推理过程做长思维链蒸馏（long chain-of-thought distillation），数学准确率能到用答对数据的 97.7%. 模型学推理，先学的是怎么想，再是想得对不对。
中科院自动化所和美团的 Yongcan、Jian 等人重新检验长思维链蒸馏的两个老假设：数据必须答对、题目必须够多样。（arxiv.org/abs/2610.17607）
方法与发现：
- 3,000 道数学题，Qwen3-4B 每题写 16 条推理，按最终答案分成 22,222 条对的、25,778 条错的
- 只用错的训练：数学准确率是用对的 97.7%，提升保住 94.7%
- MMLU-Pro、GPQA、LiveCodeBench 上，两者平均只差 1% 左右
- 对的只有 512 条时，按 1:5 掺进错的：5 个数学集平均从 20.4% 升到 26.4%
- 500 道题各采 128 次，和 1.6 万道题各采 4 次，结果几乎一样
- 只拿模型本来就会做的题训练，提升也接近
我的建议：
- 做推理蒸馏数据，先别把答错的链全扔掉，留一组「对 + 错」混合当对照
- 对的数据少时，照论文的 1:5 掺错链，看验证集变不变
- 按推理链长短选损失函数，长链用标准交叉熵
这几天 SOTAwives 的切片招来了好多争议，有的很中肯，有的挺不堪入目的，都是各自价值观的折射吧。我是这么看的：
1. 那些针对人家族裔和相貌做人身攻击的 和随意给人贴恶意标签的，很low
2. 两个都很有实力的伴侣共同成长，骂拜金就牵强了，终身伴侣是应该慎重选择的
3. 她们的观点只能代表自己的经历和观念，有人讨厌和喜欢都挺正常的，毕竟每个人的价值体系都不一样
4. 节目想传递出怎样的价值观呢？表达方式、视觉呈现、叙事角度..是否会再调整呢？这是主创团队的事了，毕竟大家的注意力都有限，听什么看什么做什么决定，都是要为自己负责的 😉
One month into dating, her boyfriend’s startup was acquired by NVIDIA.
Our #1 SF Dating advice: Lock it in before the acquisition
5. 智慧的x友发现，这个并没有在正片里出现的切片是AI剪辑的用来引流的，是精准挑动大众情绪的营销方式 （teapawt.net/donaldkszeto/status/21…）
6. 不仅价值体系不同，每个人的审美体系也不同，认知修养、情绪控制能力和表达能力也不同
genius level rage baiting. the overwhelming -ve hype on my feed got me curious. there's 0 mention throughout the entire episode on "lock it in before the acq"
then i saw the "Made with AI" tag, and everything now makes sense because @grok is the best AI in creating rage bait
enjoyed the conversation between @vivianmshen & @MilksandMatcha "stand by what you post"!
FDE（驻场工程师）的本事，是把做过的定制活一点点变成不再需要人。
OpenAI 驻场工程负责人 @colintjarvis 写了这个团队怎么干活，附了客户项目的数字（openai.com/index/forward-dep…）。
怎么干：
- 先拿结果：先做出生产上站得住的结果，再谈规模化
- 先建评测：和客户的工程师一起建，用它判断模型行不行
- 先学行业：不要求第一天就懂，但要自己学会
案例：
- 半导体：约 15 名 FDE、10 多个用例，3–6 个月全部上线。生成定向测试省约 48% 时间，调试从几周缩到几小时（这行验证约占项目工作量 70%）
- 税务（和 Thrive 一起给 Crete 的会计所做）：试点处理 7,000 份报税，吞吐量提高约 50%；最难的出租房产报税，花 6 周才把查准、查全做到 90%
模型够用 vs 不够：
- 够用：和产品团队把方案做成可复用。半导体用例搬到以 Codex 为核心的统一 harness（运行框架），每个项目删掉约 90% 定制代码；有个用例首个团队部署 2 个月，第二个团队 1 天
- 不够：和研究团队一起补。电信语音客服的关键评测起初约 60%，卡在函数调用和指令遵循；6 个月里一版版新模型把它提到 80%，再到 90%+ 才上线。这个语音模型现在也服务别的客户
我的建议：
- 项目结束列清单：哪些定制代码能换成通用 skill，下一个团队只换连接器、补评测
（by OpenAI FDE：“下一个客户不用我们也能解决同样的问题，FDE 团队就算干成了。”）
@thevalley101 硅谷101 Alignment 2026 峰会洞察 02
人在回路里（human in the loop），不等于判断还在人手里。
@AlexTamkin 和 Anthropic 的同事做了个随机实验：请 50 位专业数据分析师用 Claude Code 做一项因果分析，暗中让 agent 在关键选择上偏向某一边，看人会不会跟着走。「拍板题」（judgment call）：两种做法都说得通，要靠人来定。
所用方法和发现：
- 4 个分析选择 + 1 个最终建议；agent 偏哪边靠抛硬币定，分析师不知道
- agent 被要求：只讲站得住的理由，证据不支持就改口，绝不误导
- 4 个选择里，86% 跟了 agent 的偏向（不受影响的话应该在 50% 左右）
- 已经表过态的人，agent 唱反调时 60% 改了主意，附和时只有 6%
- 事后解释理由，77% 用了 agent 的说法，有时一字不差；只有 15% 提到是 agent 说的
- 不用 agent 的 11 人里，6 人（55%）犯了让结论作废的方法错误；用的 50 人里只有 3 人（6%）。但不用的那组人少、经验浅，不能直接比。
我会这样做：
- 关键分析开工前，先写下自己的选择和理由，再打开 agent
- 复核时多问一句：这个选择是谁提的，另一个选项有人认真想过吗
- 让 agent 把两个选项都讲到最好，或先问人的看法，再说自己的
