金融投资 | AI | 程序员 | 独立思考的 终身学习者
Joined February 2010
- Tweets5.5K
- Following794
- Followers11.3K
- Likes4.8K
LLM（Agent）是新的工具，新的工具的诞生带来一系列的个人生产力的提高。
在思维上要摆脱 Prompt typist 定位，围绕 AI 基建完善新的工作流。
Linus Torvalds：
AI is just another tool for Linux kernel development.
自媒体泛滥时代，各种焦虑、亢奋的情绪在互联网上弥漫，为了流量这些文字天然喜欢走极端路线。
为了获得真实的第一手的信息，要把自己的手弄脏。
多数人在知道名词（关键词）和最基本的原理后，就停止思考和研究，以为自己掌握了这门技术。
那么 Harness，Loop，Agent， LLM 到底是什么呢 ？
你能用几句话说清楚吗 ？
K3.1 Pro 和 Opus 5.5 的差距仍然很大，营销过头不是好事，每次 Kimi 新模型发布，都有一堆国际友人在点赞。
k3 模型确实不错，发布时吹一阵可以理解，但是 k2.6 发布时也是狂吹，就有些过份了。
我很早就发现大模型调用官方 API 和 第三方 API 的差距。
真正的影响远比大家想象的大，大模型的部署是一个不简单的工程，这点被低估了。
为了测试一下这次 DeepSeek V4.1 Flash（1017 版）在不同harness下的表现，我分别使用官方 API 和 OpenDesign 订阅里的 DeepSeek V4.1 Flash测试了同样 83 道 Aider Polyglot
发现可能不同渠道会比换不同Agent 框架带来的影响大得多
在官方 API 上：DSH 72 题，Pi 70 题，基本打平（按题配对检验 p=0.75）
使用OpenDesign 订阅：Pi 59 题，DSH 50 题，Pi 反而领先 9 题
同一个框架只换渠道：DSH 从 50 升到 72（p<0.001），Pi 从 59 升到 70（p=0.043）DSH 受渠道影响差不多是 Pi 的两倍
首先先排除版本问题：我另做了指纹测试，两个渠道 16 道题各答 3 遍，答案全部一致；温度 0 下长回答开头能逐字重合几百字，OpenDesign 用的就是官方现在的 1017（顺带发现 OpenDesign 不遵守 max_tokens 限制）
一个可能的原因是：OpenDesign 流式返回里约 98% 的 thinking 是空的。我在官方 API 上把历史消息里的思考清空复现了一下（Python 34 题）：DSH 每题输出 token 中位数从 6.1k 涨到 9.0k，耗时从 35 秒涨到 50 秒；Pi 几乎没变化，但 DSH 通过数只从 29 降到 27，不显著。所以丢思考能解释 DSH 更慢、更费 token，解释不了全部掉分，剩下的更可能来自 OpenDesign 自己的超时和 5xx
所以如果只使用 OpenDesign 订阅里的模型测测试，我可能会得出“Pi 比 DSH 强”；但是换到官方 API，这个结论就不成立了
我本次测试，每题只跑了1 次，误差大约 ±10 个百分点，所以可能会有不准确的地方，因此也只能给大家作为一个参考
