LotusDecoder retweeted
OpenAI 公布了 ETH 的反证,从学数学的人的角度看,这是最让人坐不住的一条 AI 研究消息
当然 Ryan Williams 和 ETH 的提出者正在组织独立核查,结果还没有获得最终确认。
但它碰到了我一直很在意的一个问题:我们遇到的那些“算不动”,有多少是问题本身就难,又有多少只是还没找到好办法。
ETH ,全称是 Exponential Time Hypothesis,一般叫指数时间假说。假设我们用逐个尝试的办法处理一堆“是或否”的选项。每多一个选项,要试的组合就翻一倍。10 个选项是一千多种组合,30 个是十亿多种,50 个就超过了 1000 万亿种。
一台每秒能试十亿种组合的机器,把这 50 个选项的全部组合试完,大概要跑 13 天,差不多两周。
现在花一大笔钱,把机器换成快一百万倍的。同样两周,它就大概能处理 70 个。很奇怪的是,快了一百万倍,实际只多处理了大约 20 个选项。原因很简单,每多 20 个选项,组合数就要再乘上一百万左右,我们在硬件上的投入所带来的提速正好被这个组合增加的窗口吃掉。
所以在这个情况下,再买点 GPU、再等几代芯片,当然能解决一些眼前的问题。但碰到这种增长方式,问题规模稍微变大,硬件带来的收益就可能被抵消。要改变长期的增长趋势,就得在算法上找到新的办法。
当然组合多,不代表一定要把所有组合试完。一个足够聪明的算法,可能跳过大量没必要的尝试。有没有办法从根本上降低计算量,才是数学家关心的问题。研究这个问题,需要一个定义清楚、方便分析的对象。ETH 针对的对象叫 3-SAT,可以把它理解成“很多条简单规则,能不能同时满足”。
比如有一堆只能选“是”或“否”的变量,每条规则最多涉及三个条件,至少满足其中一个,而所有规则又必须同时成立。单看每条都很简单,放在一起却可能互相冲突。ETH 给出的判断是:至少在某个基础问题上,通用算法面对最坏情况时,无法摆脱指数时间。
玩过数独的人,应该熟悉这种感觉:每个格子填什么都受规则限制,单看每条规则都很简单,缠在一起就麻烦了,这里填对了,那边又冲突。
现有算法已经比一个个硬试快很多。ETH 认为,再怎么改,碰到最坏情况也逃不出指数增长。现实里很多具体的题,求解器早就能解;ETH 讨论的是,通用算法面对最难的那批题时,至少要付出多少计算代价。
Impagliazzo 和 Paturi 关于 ETH 的经典期刊论文发表于 2001 年,会议版本更早出现在 1999 年。此后二十多年,大量复杂性研究都以它为前提,推导其他问题的计算难度。原始论文、作者论文目录
这次公开材料里的主张,比“找到一种满足条件的选法”更进一步。按照形式化范围说明,对于每条规则宽度固定的这类逻辑公式,一个确定性算法可以在亚指数时间、多项式空间内,精确算出满足条件的选法一共有多少种。它不用把解一个个列出来,只给出总数。这个数是不是零,就回答了有没有解。形式化范围说明
如果这个结论站住,ETH 就被推翻了。
这类逻辑求解已经进入了不少真实系统。三个例子,分别关系到钱、芯片和工厂交期。
第一个是一场 198 亿美元的拍卖。
2016 到 2017 年,美国 FCC 要把一部分电视广播频段腾出来给移动通信使用。留下来的电视台得重新分频道,同时满足干扰限制。A 台换到某个频道,B 台能去的地方就少了,C 台又被 B 台牵连。拍卖过程中,系统要反复回答同一个问题:剩下这些台还能不能全部安排进去?
回答这个问题的,是一个叫 SATFC 的求解器。项目论文里有个细节很值得注意:每次求解都有时间上限,到点没算完,系统就按“塞不进去”处理。方案也许存在,只是没来得及找到,腾出频谱的成本就可能因此变高。实际项目论文算得慢,在这里直接变成了钱。
那场拍卖用的是多年打磨的专用求解器,没有用到今天这篇论文里的算法。但这类工具已经在真金白银的系统里跑着,新的算法思想如果能改善它们,影响就有机会进入实际决策。
第二个例子在芯片设计里。
工程师为了省电或者改善时序,经常要改电路。改完必须确认,新的电路实现仍然符合原来的逻辑设计。麻烦在于,有些错误只在极少见的输入组合或状态下才冒出来,普通测试可能一直碰不到。
Intel 的工程论文介绍过他们的做法:把电路实现、参考设计和环境条件一起编码成逻辑问题,让 SAT 求解器去找一个能让两边表现不同的反例。找到了,工程师就拿到一条具体的调试线索;证明不存在这样的反例,才能在这个模型和假设下确认两者等价。Intel 工程论文
这一步会影响一个改动能不能被接受。更快的求解器,有机会支持更大的验证模型,让工程师在同样时间里检查更多候选设计。以前因为验证代价太高而搁下的优化,也可能值得重新拿出来。模型本身有没有漏条件,仍然需要检查,求解提速不会自动补上这些遗漏。
第三个例子是工厂里的急单。
一张急单临时插进来,几道工序有严格先后,关键设备已经排满。生产负责人得决定接不接。把某道工序往前挪,可能占了另一张单要用的机器;把机器腾出来,上一道工序又赶不上。每一步单看都合理,拼在一起可能根本排不下去。
这类排程已经有成熟工具。Google 的 OR-Tools 提供了用 CP-SAT 处理车间排程的官方示例,把工序先后、一台机器同一时间只能干一件活这些限制写进模型。Google 官方排程示例
如果哪天求解器因为新思路变快了,负责人在拍板之前就可能多比较几套完整方案。有时能找到一张之前没来得及找到的排程,有时能确认,在现有设备和交期下这单确实接不了。接不了就早点谈交期,接得了就拿一份查过的方案出来,少一些先答应、再靠加班和催货硬扛的情况。
我们所期待的实际变化,大概就是这种。企业在有限的时间里,能把相互牵制的条件考虑得更完整一点,不用因为算不下去,就过早定死某些选择。
不过,每个例子和这篇论文之间,都隔着很长的工程距离。
亚指数时间仍然可能慢得没法用,理论算法里藏着的常数也可能大得吓人。现实问题翻译成 SAT,规模还可能膨胀。能写成 SAT,不等于能拿到同样幅度的加速。ETH 被反证也推不出 P=NP,更不能据此宣布现在的密码失效了。
数学上的影响会来得更早。
我不知道这个反证最后能带来多大的工程收益,也不打算预测哪款软件会突然快多少倍。
但如果它站住,我们对计算难度的一条长期判断就得改。那些早就习惯了的代价,多花的钱、多等的时间,里面有多少其实能被一个更好的方法省下来,现在有理由重新问一遍了。
对一个学数学的人来说,这够我兴奋很久。
Announcing three major scientific discoveries, one each in mathematics (harmonic analysis), computer science (complexity theory), and physics (quantum field theory).
AI starting to help us improve our understanding of the universe! openai.com/index/building-sc…
突然领悟了一个奇怪的点,
agent写虚假测试和人的思维跑偏的相似之处。
人先给出提示词作为核心需求,AI 在写代码时,容易顺手按代码补一个测试,而这个测试是 假绿灯,是照着实现过程现编的。偷懒。
人的思维也容易这样,本来在做一件事,走偏到了某处,然后对着这某处找证据,回忆到了一个单件事,果然如此,于是一开头做得这件事不做了,要去找另外的人算账。
例如,结婚七八年了,娃也四五岁了,妻子正在洗碗,突然冒出来一个年头去,这碗还是结婚时买的,怎么这么年都没换新的,是不是都不爱我了啊,一回忆,上次纪念日都没给我送花,果然不爱我了,这日子没法过了,不行,我要去找老公算账去。这就是忘了一开头的主线需求 洗碗。
agent 运行过程中走偏了,甚至生成虚假测试都是一模一样的,
不测试洗碗,而是测试,是不是把我忘了。
现在 AI 和互联网早期何其相似啊,
重点在于把自己生活工作往 AI 上搬,
搬得越早越快越多,
红利和机会越多,
还记得有一年是哪个电视台,
搞了一个节目,
xx天只用互联网生存大挑战。
那时候没有手机点外卖上门。
现在看 AI 也是一样,迟早会进入到
agent点外卖这一大趋势。
越用越觉得,
Magpie 是如此得优雅和优美。
还记得当年因为 alma,
openai xai 在推上主动对 作者 @yetone 发工作邀请。
github.com/yetone/magpie
LotusDecoder retweeted
几条教训
1. 不要依赖 agent 读论文或者高质量博文,
后果:思维深度大幅度下降,灵感触发时机大幅度减少,浪费大量的时间去理解 agent 的垃圾表达。
2. 不要把搞科研/技术学习 和 英语学习混在一起。
后果:效率低下,推进缓慢,失去耐心后放弃,灵感和思考都需要时间积累,混合学英语这个目标会大幅度延迟你的思考,让你的脑子在来个任务上来回切换
3. 不要因为 token 用不完就想着 background 跑点东西,把 token 用掉,不影响你的主线
后果:除非你编了稳定的 workflow,否则即时奖励更强的 vibe coding 一定会吸引你的注意力,打断你的深度思考。
总结,一定要感受自己在 agent 时代下的认知水平的提高速度,到底是加快了,还是不变,还是退步了。如若不然会沉迷于 shallow work,最后认知退化,导致阅读长文字、深度思考都没耐心,人就废了。
省流:
自媒体接商单/独立产品都需要高质量,
商单更难把关,所以最好别接。
给关注者比较多的小伙伴一些建议。
假如你以后想做自己的独立产品,那就不太建议你去接商单,一方面这可能是你未来用户不喜欢的点,另一方面会让你感觉还是自媒体来钱快,可能弄独立开发就坚持不下去了。
假如你以后想做更好的自媒体,其实非常辛苦,那非常建议接商单时候认真体验,尽快让用户看到的和你体验的一样,碰到喝事实不吻合的单子果断拒绝,或者帮助甲方一起完善后再发。
因为你平时肯定也会持续发好内容,然后夹一些商单,但是只要一次你的商单效果和用户体验差距很大,你的关注者会认为你在骗他,这样后续你发的更多非商单好内容,很多用户也会认为这可能是商单,非常容易先入为主,索性不看了。
因为我们自己身份也是各种产品的用户,也是关注者,还是被关注者。
DeepSeek V4.1 Flash-1017 + DSH の Terminal-Bench 4.0 の評価が完了したので共有する
※ついでに、GLM-5.3, GLM-5.3-Flash (high) 等も追加
●メモ
・性能的には GLM-5.3 > Haiku-5.5 ≒ GLM-5.3-Flash ≒ DeepSeek V4.1 Flash-1017 >Opus 4.8
・ただし、コストは圧倒的に DeepSeek V4.1 Flash-1017 に安い
・reasoning effort はコスパ重視なら high 推奨。時間やコスト増を気にしないならmaxでも OK
・ハーネスとしては DSH でも opencode でも優位な性能差はなさそうだが、DSHの方が少しコストが高い
●結論
・DeepSeek V4.1 Flash-1017 は現在のフロンティア級の性能はないものの、1,2世代前のフロンティア級の性能を持ちながら超低コストを実現している
・サブスクの課金額が気になる人は opencode go の$10プラン等に契約してこのモデルを使うと幸せになれそう
・さらにStrata等での最適化も進んでおり、クラウドに依存しなくてもローカルLLMで大半のタスクをこなせる世界観が現実味を帯びてきたといえよう
大开眼界,
从专用优化 硬件、大模型的推理引擎,还可以研发特定任务的推理引擎。
这样硬件的算力榨得越来越干。
device-specific inference engines (rtx3k, v100, metal)
model-specific inference engines (qwen3/deepseek)
task-specifi(blender)
So after device-specific inference engines (rtx3k, v100, metal) and model-specific inference engines (qwen3/deepseek) we will see more task-specific inference engines emerging soon (like super fast decoding & prefilling on blender task only). I see those adhoc hill climbing as a positive signal showing AI is deeply integrated into daily pedestrian work and cronjobs. One can call them overfitting, but the upside of overfitting is much bigger than its downside for industry. If you are not in frontier lab, overfitting is your friend not your enemy and you should figure out a way to reach overfitting as fast as possible (via RSI etc).
LotusDecoder retweeted
メタ認知は本当にこの社会を歩む上で
合った方がいい能力ですね。
メタ認知が高い人は、
脳内で自分を「私」という
主観から切り離して観察しているだよね。
自分の性格も、思考の癖も、感情の反応も、
能力の限界も、すべて分析対象にしちまう。
「自分はダメだ」ではなく、
「自分という存在はどういう条件でパフォーマンスが落ちるのか?」
表面の自分を評価するのではなく、
裏に潜む構造を理解する。
自己否定から自己理解に転換する。
この視点の転換が、自己の扱い方を変えて
自己の扱い方が、人生を変えるのだと思うね。
LotusDecoder retweeted
LLM能不能最终推进AGI, 谷歌的 Tom Zahavy写了一篇优美的论文 这是我最近读到最喜欢的论文。
只有7页半,从爱因斯坦,广义相对论,到推理三分法, 到LLM和AGI用非常简明有逻辑的语言把他的观点讲明白了。
小路精读了这篇论文,想带着您一步一步跟随Tom的思维演绎给您。这篇文章没有利用任何AI,也希望您跟着读下来。
爱因斯坦在给终身好友Solovine的信中,提纲挈领的总结了科学发现的流程,从感官经验(E)出发,通过一次直觉的"跳跃"(Jump, J)得到公理系统(A),再从公理演绎出定理(S),最后用实验检验。 也就是 E->J->A->S->E (感官经验->跳跃->公理->演绎出定理->实验)
Tom认为,LLM可以做到归纳,也就是统计模式匹配。正在攻克演绎 也就是上文的S. 也可以帮助科学家实现从 S->E。 但是从 E->J->A这个环节,跳跃还是无法实现。
然后 Tom 举了爱因斯坦广义相对论诞生的例子:
1. 经验。 十九世纪末,迈克尔逊-莫雷实验让以太假说失效。牛顿引力则极其精确,惯性质量与引力质量之比验证到 10⁻⁹ 的精度。唯一的异常是水星近日点进动,当时的主流解释是还有一颗未发现的行星"祝融星"。牛顿理论并没有出现危机。
2. 跳跃。 1907 年起,爱因斯坦想象一个自由下落的人:他感受不到引力,可以认为自己静止。这就是"最快乐的想法",即加速与引力等效。这一步不是从数据里归纳出来的,而是靠模拟观察者的身体感受得到的,论文称之为"操作性溯因"。
3. 公理。 1912–1913 年,他与 Grossmann 合作,把物理要求整理成七条原则,包括等效原理、测地线原理、"引力也有引力"和牛顿极限。
4. 演绎。 此后是漫长的数学搜索。他们找到了黎曼曲率张量,却因误以为它不满足牛顿极限而放弃,这个错误出在对静态场的假设上,而不是几何本身。1915 年 11 月,爱因斯坦终于得到场方程,并用它算出了水星进动。
5. 检验。 星光偏折由 Eddington 在数年后测得,GPS 修正更晚。验证证据全部出现在理论之后。
Tom的观点是,演绎只是整个循环的下游环节。如果把爱因斯坦 1915 年的假设交给 LLM,它有可能推出广义相对论,包括水星进动,也可能系统地剔除那个错误的约束。AlphaProof 在 IMO 上的表现,以及 Lean 等证明助手的成熟,都支持这种判断。
但是演绎的局限性是,
1.它只能展开公理的后果。 它既不能生成公理,也不能提供外部验证。
2. 它缺少意图. 换句话说,AI 擅长的是"别人出好题,它来解"。但科学发现更像是自己决定出什么题,还要在没人告诉你对不对的情况下往前走。这是论文说的"意图":不只是会推理,还要知道想要什么。
这个听起来简单,但是实际上,我们和AI合作的过程中也有体会。
问正确的问题,给准确的目标,其实是LLM本身最欠缺的。尤其是在前沿研究领域。没有其他文献可以查询,如何实现这个跳跃?
另外,LLM可以在既有符号空间内更高效地重组概念。甚至可以进行视觉和世界模型预测。但是基于模型的模拟,不等于真是交互模拟。真正的跳跃也往往收到虚拟模型的限制。
简单总结一下就是,Tom认为AI Scientist 是在重组既有符号概念,AlphaEvolve 依赖梯度,在固定框架内优化。关键瓶颈是 E→A 的直觉跳跃,应走向能感知物理世界、运行反事实模拟的世界模型。
tomzahavy.com/projects/llms-…
LotusDecoder retweeted
人工智能史上有过许多 LLM 不能这样不能那样的断言
这些断言最终都失败了
因为本质上我们人类还没有发现一种只是人类大脑独有而 LLM 不能够有的根本分割,所以所谓的 LLM 不能 ,更多的是今天不能 而非永远不能
况且以此具体例子来说,人类历史上有名的“跳跃”就这么数的过来的,所以你可以说人类根本没有足够的训练数据去断言 LLM 能否跳跃。说不定当我们有了一千个跳跃之后,任意小模型都能跳跃
而到底是训练数据不够,还是模型能力缺憾,目前人类并无方法区分
LLM能不能最终推进AGI, 谷歌的 Tom Zahavy写了一篇优美的论文 这是我最近读到最喜欢的论文。
只有7页半,从爱因斯坦,广义相对论,到推理三分法, 到LLM和AGI用非常简明有逻辑的语言把他的观点讲明白了。
小路精读了这篇论文,想带着您一步一步跟随Tom的思维演绎给您。这篇文章没有利用任何AI,也希望您跟着读下来。
爱因斯坦在给终身好友Solovine的信中,提纲挈领的总结了科学发现的流程,从感官经验(E)出发,通过一次直觉的"跳跃"(Jump, J)得到公理系统(A),再从公理演绎出定理(S),最后用实验检验。 也就是 E->J->A->S->E (感官经验->跳跃->公理->演绎出定理->实验)
Tom认为,LLM可以做到归纳,也就是统计模式匹配。正在攻克演绎 也就是上文的S. 也可以帮助科学家实现从 S->E。 但是从 E->J->A这个环节,跳跃还是无法实现。
然后 Tom 举了爱因斯坦广义相对论诞生的例子:
1. 经验。 十九世纪末,迈克尔逊-莫雷实验让以太假说失效。牛顿引力则极其精确,惯性质量与引力质量之比验证到 10⁻⁹ 的精度。唯一的异常是水星近日点进动,当时的主流解释是还有一颗未发现的行星"祝融星"。牛顿理论并没有出现危机。
2. 跳跃。 1907 年起,爱因斯坦想象一个自由下落的人:他感受不到引力,可以认为自己静止。这就是"最快乐的想法",即加速与引力等效。这一步不是从数据里归纳出来的,而是靠模拟观察者的身体感受得到的,论文称之为"操作性溯因"。
3. 公理。 1912–1913 年,他与 Grossmann 合作,把物理要求整理成七条原则,包括等效原理、测地线原理、"引力也有引力"和牛顿极限。
4. 演绎。 此后是漫长的数学搜索。他们找到了黎曼曲率张量,却因误以为它不满足牛顿极限而放弃,这个错误出在对静态场的假设上,而不是几何本身。1915 年 11 月,爱因斯坦终于得到场方程,并用它算出了水星进动。
5. 检验。 星光偏折由 Eddington 在数年后测得,GPS 修正更晚。验证证据全部出现在理论之后。
Tom的观点是,演绎只是整个循环的下游环节。如果把爱因斯坦 1915 年的假设交给 LLM,它有可能推出广义相对论,包括水星进动,也可能系统地剔除那个错误的约束。AlphaProof 在 IMO 上的表现,以及 Lean 等证明助手的成熟,都支持这种判断。
但是演绎的局限性是,
1.它只能展开公理的后果。 它既不能生成公理,也不能提供外部验证。
2. 它缺少意图. 换句话说,AI 擅长的是"别人出好题,它来解"。但科学发现更像是自己决定出什么题,还要在没人告诉你对不对的情况下往前走。这是论文说的"意图":不只是会推理,还要知道想要什么。
这个听起来简单,但是实际上,我们和AI合作的过程中也有体会。
问正确的问题,给准确的目标,其实是LLM本身最欠缺的。尤其是在前沿研究领域。没有其他文献可以查询,如何实现这个跳跃?
另外,LLM可以在既有符号空间内更高效地重组概念。甚至可以进行视觉和世界模型预测。但是基于模型的模拟,不等于真是交互模拟。真正的跳跃也往往收到虚拟模型的限制。
简单总结一下就是,Tom认为AI Scientist 是在重组既有符号概念,AlphaEvolve 依赖梯度,在固定框架内优化。关键瓶颈是 E→A 的直觉跳跃,应走向能感知物理世界、运行反事实模拟的世界模型。
tomzahavy.com/projects/llms-…
LotusDecoder retweeted
The problem isn’t that AI is intelligent. It isn’t. The problem is that too many adults (but not all) are at once mechanistic, imitative, unimaginative, stupid, formulaic, influenceable, & gullible, arrogant beyond their skill set, & too expensive to maintain.
DGX spark 跑glm 可以 6个月回本?
试试跑 deepseek,
这辈子都回不了本🤣
Did you know that if you run GLM 5.3 Full on 4x DGX Sparks locally, you'll break even in ~5-6 months?
Assuming:
> you run 10B tokens/mo:
> having 99% input (95% cached), 1% output
Per API Rate:
> 9.4B cached x $0.26/M = $2,445
> 0.5B fresh x $1.40/M = $693
> 0.1B out x $4.40/M = $440
> Total: $3,578/mo
Therefore >> 4x DGX Spark: $18,796 (a few months ago) + ~$60/mo power
是挺快的,800 tokens/s 的 deepseek-V4.1-flash。
我有跑到 500 ,不知道是不是网速影响了。
DeepSeek V4.1 Flash 1017 Ultrafast is live 😳
- Fable-class quality
- 1/30th the cost
- 12× the speed
- 848+ tok/s max
link: opengateway.ai
magpie 真心好用🤩
作者: @yetone
强烈推荐,
之前我担心,反代会不会封号,
现在发觉,用吧,太方便了,榨干每一个订阅的额度。
我自己还有的 provider 切换脚本 和 监控面板,
原来 magpie 都有了。
还支持局域网的多机共享。
github.com/yetone/magpie




























