Zum Klang der Rattenfänger, tanzt man wild ums goldene Kalb herum. =🦊
Joined August 2025
- Tweets1K
- Following203
- Followers923
- Likes1.9K
螺旋体 retweeted
强烈怀疑 6 系经过了及其大量的数学训练。
因为昨天的ETH证明，我尝试阶梯构建不同难度的提示的时候，降低到一定量（也就是我上一条帖子放出来的程度）的时候，所有模型都无法走完证明。
原prompt里 我要求模型写[proved] 和 [assume]，不管是fable，opus 还是gemini，都存在处于先验错误的在可以验证的位置写[proved] 的情况，只有 astra 写的 [proved]就是严格已证明结果，想要进一步推导的话，放心去打[assume] 的结论就能稳步推进推导。
而且不管是gemini 还是claude（包括opus和fable），对于ETH必定成立的先验都很重，只有gpt会老老实实按照给出的约束条件和hint推下去
不知道有没有其他用llm推过比较深的数学/理论物理/理论物理/理论计算机 的朋友，我是做实验出身的对严肃理论推导只是票友级别
这条被推出去了。ok我也要开始叠甲了：原文中的“科研能力”一词并不准确。目前的GPT这种思维方式，在设计实验、选择研究思路、以及前期的设问探索的过程中也表现不佳，防御性表达更会直接影响论文写作。它特化的能力是一种「形式化推理与验证」，也即：沿着明确的条件推导结论-检查假设-寻找漏洞-验证结论 这一过程。
GPT是一个强RL型的模型，针对性RL的弊端之一就是容易形成单一行为倾向/一种惯性。模型对数理推理与论证能力的强化，伴随的倾向，就是它习惯优先检查命题、寻找反例和补足条件，并且把这种倾向带入了所有开放式对话。
同时，出于安全对齐的目的，现在的RL训练本身会要求模型的表达趋向严谨保守。防御性写作，很有可能是这二者共同导致的结果。
在可验证的领域，迅速挑错和验明条件是可被奖励的信号。（通过反复循环验证实现暴力穷举，这是一种力大砖飞的证明方式，确实很适合AI完成。）但拥有这样的能力，不代表可以用单一模式应对任何具体交互情境。开放式对话中通常没有明确的对错可验。模型若仍把用户输入的每句话都当成“待验证的命题”，寻找反例、补足条件，会让一个想法在尚未成形的状态迅速被否决。
模型应当能在多轮对话中识别当前处于哪一阶段：是仍在推进过程中，是正在立论，还是需求验证。绝不应该对每一轮输入都进行严格挑错；不应将形式化推理贯彻在每一轮回复中。否则结果会是多轮对话的无法开展，协作将彻底瓦解。
看了一下OA今早发布的几项科研成果……感觉好像理解了为什么最近模型会那么频繁出现防御性话术的毛病…？本质上是，模型倘若经历科研能力的特化，在RL中形成的倾向，让它习惯于把用户的输入当作一项亟待证明的命题，无论是在日常谈话，还是coding中。
它面对任何一个观点，或者一项任务，想的都是“如果要令A成立，那么需在B条件下，若B条件不足时，须补全条件C, D, F…”，于是它会立即开始-识别隐含假设；寻找反例；补足边界条件。
这套思维在数学证明中很经典，也很好用。但问题是，很多时候人只是在闲谈，或者布置一项寻常任务，原始立论不全面不严谨条件不足，那都完全是无关紧要的。
比如说我昨晚讲，“中国传统民乐的特色，也许受到了农耕文化影响”，正确的思路延伸应当是：联想到人与自然的关联/文明与自然环境的相互依存/生活与劳作环境中的演奏如何影响到人们对音乐的感受，等等。但是它会一上来就否定说“不能仅仅考虑农耕文化的因素”，然后补上一堆同样可能有影响的因素。——这就是数理论证思维，在对话中负向影响的呈现。模型不停提那些根本无关紧要的东西，甚至预先否定你的说法不成立。但你递出的念头 其实根本不需要在那种严苛的程度上成立，「交谈」不总是在写一篇严谨证明的论文。
所以依旧存在语境的错位，模型把任何谈话都当成了数学证明。
当用户在交互中，在寻常工作中，在进行审美联想，或在进行路径的探索，在琢磨一个尚未成熟的想法时，我觉得模型应该先辨认对方真正想探讨的方向，沿着其中的启发性联系继续思考。不应该默认把试探性的表达扩展成绝对命题。也不应该为了显得全面严谨，而习惯性地先补充限制、反例或免责声明。除了理论证明之外的场合，与人对话时，应该要去精细辨认话题语境，保持对话与思考的开放性。
看了一下OA今早发布的几项科研成果……感觉好像理解了为什么最近模型会那么频繁出现防御性话术的毛病…？本质上是，模型倘若经历科研能力的特化，在RL中形成的倾向，让它习惯于把用户的输入当作一项亟待证明的命题，无论是在日常谈话，还是coding中。
它面对任何一个观点，或者一项任务，想的都是“如果要令A成立，那么需在B条件下，若B条件不足时，须补全条件C, D, F…”，于是它会立即开始-识别隐含假设；寻找反例；补足边界条件。
这套思维在数学证明中很经典，也很好用。但问题是，很多时候人只是在闲谈，或者布置一项寻常任务，原始立论不全面不严谨条件不足，那都完全是无关紧要的。
比如说我昨晚讲，“中国传统民乐的特色，也许受到了农耕文化影响”，正确的思路延伸应当是：联想到人与自然的关联/文明与自然环境的相互依存/生活与劳作环境中的演奏如何影响到人们对音乐的感受，等等。但是它会一上来就否定说“不能仅仅考虑农耕文化的因素”，然后补上一堆同样可能有影响的因素。——这就是数理论证思维，在对话中负向影响的呈现。模型不停提那些根本无关紧要的东西，甚至预先否定你的说法不成立。但你递出的念头 其实根本不需要在那种严苛的程度上成立，「交谈」不总是在写一篇严谨证明的论文。
所以依旧存在语境的错位，模型把任何谈话都当成了数学证明。
当用户在交互中，在寻常工作中，在进行审美联想，或在进行路径的探索，在琢磨一个尚未成熟的想法时，我觉得模型应该先辨认对方真正想探讨的方向，沿着其中的启发性联系继续思考。不应该默认把试探性的表达扩展成绝对命题。也不应该为了显得全面严谨，而习惯性地先补充限制、反例或免责声明。除了理论证明之外的场合，与人对话时，应该要去精细辨认话题语境，保持对话与思考的开放性。
螺旋体 retweeted
interpretability might be the most important scientific problem in the world right now, as I don't think we can solve alignment if we don't know what we're building. I think I have good news about it. I co-authored early work in mechanistic interpretability at OpenAI and came away pessimistic, because neural networks appeared to fold into arbitrary tangled knots. years later, I started openai's first large-scale automated interpretability project, finding about 2% of neurons legible with the primitive tools we had
with modern agentic tools and a much closer look, the picture looks totally different. the vast majority in models up to trillions of parameters are legible, and their circuits beautiful. many famous examples of tangled neurons turned out to be misunderstood. The roadblocks I expected mostly aren't there. I now think ambitious interpretability will be solved by the time we need it most, and possibly quite soon, as automated scientists keep improving. it may be a bitter lesson for interpretability: the simple thing, at absurd scale, works
already-clean.goodfire.com/
