bilingual: EN/ZH, SF Bay Area based #bitcoin is a cult, bitcoin is a religion 硅谷一线从业者。AI架构师 AI architect AI / 美股 /硅谷面试求职指导 所有观点仅为个人思考 非投资建议 DYOR
San Francisco, 旧金山，加州
Joined March 2024
- Tweets7.7K
- Following4.2K
- Followers11K
- Likes11.6K
Pinned Tweet
大模型得了"顺行性遗忘症"
---小路带您精读谷歌 Nested Learning，看 AI 怎么在学新东西的同时不忘旧本事
周日，吃完costo的精品热狗和costco冰咖啡 小路精读了谷歌的这篇论文：《Nested Learning: The Illusion of Deep Learning Architecture》（嵌套学习：深度学习架构的幻觉）
我看英文去有人说它有"Attention Is All You Need V2"的野心。这个比较我先不做评价，但它确实有才弄个根本提高目前大模型范式的野心：为什么今天的大模型，训练完就定型了？
全文的脉络是这样的：从一个医学比喻出发，走到一个统一的视角，再走到一个叫 HOPE 的原型模型。接下来小路一步一步带您跟着作者的思路走。
首先提到顺行性遗忘症（anterograde amnesia）。患者以前的记忆都在，但新的记忆存不进去，永远活在"当下"。可以认为目前的大模型就是这样。它的知识来源只有两处：一处是上下文窗口里的内容，另一处是预训练结束那一刻固化在 MLP 里的参数。窗口里的东西，永远不会写进参数。
先给您一条主线，后面的讨论都是沿着这个主线进行的，您看的糊涂了可以回到这里对照：
联想记忆->更新频率->层级->知识传递->HOPE （把每个组件看成记忆，按更新快慢排成层级，层与层之间传递知识，最后搭出 HOPE）
1. 联想记忆。这里把记忆定义为"输入引起的神经更新"，把学习定义为"获得有用记忆的过程"。联想记忆就是把键映射到值的算子。反向传播本身就是一个联想记忆：它把每一层的输入，映射到这一层预测的"意外程度"（surprise，也就是局部误差信号）。读者们注意一下！这一步很关键，后面所有东西都被放进了这个逻辑框架。
2. 优化器也是记忆。带动量的梯度下降里，动量项是一个小记忆，负责压缩过去的梯度，所以整体是两层嵌套的优化。在逐元素 L2 回归目标下，Adam 在理论上是压缩梯度的最优联想记忆。
这里有一个具体的数字。动量衰减取 0.9 的时候，最近 6 个梯度贡献了至少 50%，最近 43 个梯度贡献了 99%。43 步之外的历史，几乎不起作用。持续学习时模型容易忘掉以前任务，原因之一就是优化器的这份记忆太短。
基于这个视角，作者设计了 Delta Momentum、Deep Momentum（用 MLP 当动量的记忆）、Delta Gradient Descent，还有带多个动量项的 M3 优化器。
3. 架构也是记忆。线性注意力的更新，等价于一个矩阵记忆在用梯度下降压缩键值对。softmax 注意力，则是同一个回归目标的非参数解。
4. 频率。这是全文最核心的一步。作者给每个组件定义了更新频率，也就是单位时间内更新几次，并按频率把组件排成"层级"。按这个标准，Transformer 里注意力的频率是无穷（每个 token 都在变），MLP 的频率是 0（预训练后不再更新）。只有两个极端，中间是空的。
作者拿大脑做对照：gamma 波（30 到 150 Hz）对应感官信息，beta 波（13 到 30 Hz）对应主动思考，delta 和 theta 波（0.5 到 8 Hz）对应记忆巩固。大脑是多个时间尺度同时在运转的。
5. 连续体记忆系统（CMS）。传统的"短期记忆、长期记忆"是二分法，CMS 把它换成一条频率谱。高频的部分负责快速适应，存得短。低频的部分负责稳定保存。作者说这种设计还会形成一个循环，忘掉的知识有可能被部分找回。CMS 用来替换 Transformer 里的 MLP 块。
6. HOPE。它由两部分组成：一个自我修改的序列模型，加上 CMS。"自我修改"的意思是，模型自己生成键、值、学习率和遗忘门，也就是学习自己的更新规则。
那么经常提到"幻觉"指什么？
作者的观点是，注意力、循环网络、卷积、MLP，看上去是五花八门的异质结构。放进嵌套学习的视角之后，它们都是前馈网络或矩阵记忆，区别只在层级、目标和更新规则。我们看到的"架构差异"，都是只盯着优化问题的解、没看见频率这根轴造成的错觉。
作者还有两个观点。一是模型的"深度"可以来自嵌套的层级数，不只是堆叠的层数。二是上下文学习（in-context learning）不是涌现出来的，它是"拥有多个层级"的直接结果。
实验方面，小路读到的是这样：持续学习用的是类增量文本分类（CLINC、Banking、DBpedia），骨干是 Llama-3B 和 Llama3-8B，对比 ICL、EWC、InCA，HOPE 的准确率最高。长上下文用的是 MK-NIAH、LongHealth 和 QASPER，随着记忆层级从 1 增加到 4，表现持续提升。
再说几点保留意见。
1. 这是概念验证。论文自己的说法就是 proofs-of-concept。
2. 不要误解的是，文章中提的两种"忘"是不同的。一个是训练过程中的灾难性遗忘，一个是推理中，聊着聊着丢了长对话的前文，这是两个问题。HOPE 主要碰的是前者。
3. 映射到开头提到的人类大脑记忆的比喻，这个论文的工作只做了一半。大脑的记忆巩固有两个阶段，在线巩固和离线巩固（睡眠中的重放）。这篇只聚焦在线的那前一半，后一半好像目前来看有点难。希望后来的学者有突破吧。
最后谈我自己的经验。我们和 AI 合作的时候也有体会：每开一个新对话，它就不记得上次的约定和处理过的事情，我只好重新Load kill,再copy一些过去的promopt重新setup context.。这正是"写进上下文，不写进参数"。如果模型里真有一层慢速的记忆， 一本比较复杂的问题就是，如何决定什么内容可以写入慢及一层，然后如果更新它。
简单总结一下就是：Nested Learning 把模型的每个组件都看成联想记忆，按更新频率排成层级。Transformer 只有"无穷快"的注意力和"完全不动"的 MLP 两个极端，CMS 的目的是在中间补上一整条频率谱，HOPE 是这个想法的第一个原型。它离"学了新东西，还不忘旧本事"的目标还有距离。
原文：arxiv.org/abs/2512.24695
TradingAgents repo. 114,358⭐｜Python
小路读了一遍 TradingAgents 的 README，推荐给对多智能体感兴趣的朋友。
它是一个用 LLM 搭的交易研究框架，思路是把一家真实交易公司的分工，原样搬给一群智能体。
有如下3个智能体类别：
1. 分析师。基本面、情绪、新闻、技术面四个角色，同时各干各的，报告齐了才进入下一步。
2. 研究员。分多头和空头两派，对分析师的结论做结构化辩论，权衡收益和风险。
3. 交易员、风控和基金经理。基金经理批准之后，订单才会发给模拟交易所执行。
三个地方值得看：
1. 记忆。每次决策都会记进日志，下一次运行时，它会先结算历史决策的实际收益（原始收益和相对基准的 alpha），再写一段反思，基金经理做决定时会读到。
2. 回测。按每个分析日期可获得的数据来做，比如美股财报用 SEC EDGAR，回测时看到的是当天已披露的数字，而不是后来修订过的。这类防止"偷看未来"的细节，很多同类项目都没有认真做。
3. 开箱可用。支持 OpenAI、Claude、Gemini、DeepSeek、Qwen 等多家模型，也能接 Ollama 本地模型。有命令行和 Python 接口，也有 Docker。
要提醒的是，README 自己写明这是研究用途，不是投资建议，结果会受模型、温度、数据质量影响，两次运行也可能不同。小路读的是文档，没有跑过实盘。
简单总结一下就是：它是一个研究多智能体协作的好脚手架，不是一个有固定收益的策略。
GitHub：github.com/TauricResearch/Tr…
论文：arxiv.org/abs/2412.20138
PA , MTV, San Mateo downtown你最喜欢哪个
Palo Alto downtown , Mountain View downtown , San Mateo downtown , which one you like the best ?
Mollick：把野心再放大
Mollick 这句建议值仔细琢磨体会：用 AI 干任何事，先问自己一句话——"我怎么把正在做的事搞得更有野心？"
一直加码，直到撞墙为止。撞墙不是失败，撞墙让你知道了前沿的形状，这本身就有用；更常见的是，你会发现 AI 能做的比你以为的多得多。很多人用 AI 的方式是"让它把眼前的活干完"，Mollick 的方式是反过来的：用 AI 试探你以为不可能的那条线。野心先行，工具随后。下次开新任务前，先把目标放大一倍再动手。
今日融资top4.
Flapping Airplanes
一家还没有产品的 AI 实验室，拿了 10 亿美元。Flapping Airplanes 完成 10 亿美元 Series A，Index 与 Lux 联合领投，估值 60 亿美元，9 个月前种子轮估值才 15 亿。赌的是数据效率：用 megakernel 让一块 GPU 同时跑训练和推理，少吃数据、少占算力。没产品、没收入，估值全押在研究能不能跑出来。
dealroom.co/news/164826-flap…
Legora
法律 AI 也卷出 88 亿估值了。瑞典 Legora 完成 5.5 亿美元 Series E，Atreides 领投，投后估值 88 亿美元，7 个月前才 55.5 亿。产品帮律师检索、审阅、起草文件，ARR 已超 2 亿美元，美国已成最大市场。对手 Harvey 9 月刚以 155 亿估值融了同样 5.5 亿。
reuters.com/legal/transactio…
Whop
卖数字产品的平台也值 51 亿了。Whop 完成 2 亿美元 Series D，Sequoia 与 Shopify Ventures 联合领投，估值 51 亿美元，8 个月前 Tether 投时才 16 亿。平台帮创业者开店、收付款、卖订阅和数字商品，2.5 万商家每月在上面跑出 5.5 亿美元交易额。
pulse2.com/whop-raises-200-m…
Warhound
2 亿美元种子轮，造基因改造军犬。Warhound 刚出 stealth 就拿了 2 亿美元种子轮，估值 12 亿美元，背后是 Colossal 的 Ben Lamm 和 Anduril 的 Palmer Luckey。逻辑是军犬 8 成靠欧洲进口、过半训不出来，克隆加基因编辑筛掉髋关节发育不良等遗传病。狗还没出生，首批预计 2027 年初。
techcrunch.com/2026/10/22/be…
OpenAI 官方讲 ChatGPT 广告架构
OpenAI 官方讲了 ChatGPT 广告是怎么做的，值得细看。
核心是一个 LLM 编排器，检索、排序、竞价工具围着它转：对话进行中实时响应，同时保证答案独立。也就是说广告不是硬插进回答里，而是对话、检索、排序、拍卖四件套协同的结果。
哈萨比斯：懂 AI 的一个人胜过一整个团队
哈萨比斯这句话值得深思：真正懂 AI 的一个人，能胜过一整个创业团队；
5 年后，用 AI 干活的人会以十分之一的人头经营整家公司。从 Prompt → Agent → 工作流 → 自动化部门：把 agent 串成能自己跑完整个部门的工作流。
现在95% 的人还把 AI 当计算器用，5% 把它当基础设施的人会接管一切。
This is f*cking insane. Nobel Prize winner and DeepMind CEO Demis Hassabis:
"One person who really understands AI will outperform an entire startup team
In 5 years, the people who build with AI will run whole companies with a tenth of the headcount"
In this 1-hour talk, Hassabis explains who survives the next 5 years and who doesn't
Prompts → Agents → Workflows → Automated Departments
Understanding AI doesn't mean typing better questions into a chatbot
It means chaining agents into workflows that run entire departments on their own
95% of people still use AI like a calculator, the 5% who treat it like infrastructure will run everything
Worth more than any $2,000 AI course
Watch it today, then save the full harness engineering guide below before everyone catches up ↓
AI 半导体这轮蜜月期，结束了。TMT Breakout 的长文标题叫《从亢奋到现实》：
过去几周 AI 半导体投资者很疼，月初一个失误是没意识到 Anthropic 的 ARR 数字对整个 AI 交易冲击有多大，外加蒸馏收入下滑、OpenAI 在 9 月抢份额、Meta 和微软的退出通道。
这些全是公开报道过的事，只是当时没人愿意细看。大师他的结论也不只是悲观：蜜月的结束不是坏事，关系成熟的标志是开始问现实问题。
下面面对的现实问题是：
实验室的 ARR 撑得起这种花钱速度吗？
2028 年的电力够吗？
炒预期的人退场，AI真的能给企业带来多少Revenue和cost reduction. 后续AI 的需求主要看这个。
AI Semis Trade: From Arousal to Reality
The past few weeks have been painful for AI semi investors. One of our mistakes early in the month was not realizing how much of an impact Anthropic’s ARR print would have on the AI trade, and not “sussing” out the set up heading in: lower distillation revs, OpenAI taking share in September, & META/MSFT off-ramps. These were all things that were reported on; if this was an earnings print, we wouldn’t have wanted to be long in the weeks heading into it. In hindsight — knowing what we know now, it was a perfect set up to reduce exposure into it.
The upside of whiffing on that trade and the market’s renewed focus on Lab ARRs and financing? It has forced me (and other investors) to sharpen our pencils and better understand the different moving pieces of the trade, and how they play off each other.
Let’s rewind a bit before diving into where we are now:
For the first three years of the AI semi trade, and especially during the May/June go-go days, investors were in the throes of the honeymoon phase: maximum arousal, minimum scrutiny. Every piece of news was looked at with rose-colored-glasses. It’s just like the beginning of a new relationship when the infatuation is so strong that your partner can do no wrong. Even when she tells you she believes in an "open-source relationship," you somehow hand-wave it away and convince yourself it’s just going to soak up more of the frontier labs' excess demand. When your level-headed friends pull you aside to point out glaring red flags, like the fact that she’s running a shadowy circular-financing scheme with her roommates, you don’t listen; you just stop inviting them to parties. Before you know it, you’ve turned on Gavin Baker’s X notifications and forward SemiAnalysis to anyone who thinks you’re moving too fast, the ultimate wingmen who never stop hyping her up and telling you what you want to hear. “It’s way bigger than just coding, bro. She’s going to replace the entire global labor force.”
Before long, the endorphins and dopamine completely take the wheel. Even if you carry the scars from past relationships — whether the early 2000s, GFC, 2019 SaaS, or the 2020–2022 Covid binge — the blinders go right back on. Those exes weren’t real supercycles and everyone knows there’s no dark fiber in GPUs, you tell yourself as you stare at GPU rental prices. You’ve even picked out baby names: Bel if it’s a girl; Claude if it’s a boy.
But eventually the dopamine wears off, and you have to get to know the person you’ve been telling everyone is perfect. You begin to see the flaws and start asking practical questions about spending habits, expectations, whose money is actually paying the bills. Can we afford this lifestyle on those lab ARRs, or are we just annualizing the honeymoon and assuming the capital stays cheap forever? And is there enough power in ’28 to keep the spark alive?
Things suddenly feel a lot more complicated, and we feel some investors longing for the simpler, more intoxicating days of May and June. But we see the end of the honeymoon as a chance for the relationship to mature. That means accepting where we are, adjusting expectations, and focusing our attention on where the strengths are rather than the flaws...
小路带你看大厂架构｜世界杯决赛 3000 万条消息/秒，Meta 怎么扛住的
世界杯决赛那天，Meta 扛住了平台历史最高流量。2026 年 7 月 19 日阿根廷对西班牙的决赛，WhatsApp 峰值达到 3000 万条消息/秒，是当年除夕峰值的 1.23 倍；而 12 天前阿根廷对埃及的十六强赛刚创下 2900 万条/秒的旧纪录。Messenger、Threads、Instagram Direct 合计峰值 4900 万条/分钟，WhatsApp 单个最高 5 分钟窗口投递了近 84 亿条消息。Instagram 推荐流量周环比涨 80%，决赛球员合计新增 2.136 亿粉丝。峰值并不出现在比赛进行中，而在中场休息、补水暂停和终场哨这些间歇：终场前约 4 分钟流量涨 46%，终场哨后约 15 分钟涨 57%。
Meta 的打法是分层扛峰：Taiji 做跨数据中心负载均衡，Katran 管 L4，Proxygen 管 L7，再叠加全球负载均衡和 AutoScaling。Instagram 连续 39 天见峰，靠四招稳住：capacity buffers、在巴西、阿根廷、印度、印尼、西班牙等高流量国家做 country-level graceful degradation、cascade prevention、early warning signals。最反常规的是两个没做的决定：没有跨 region 转移负载，因为所有 region 同时见顶、无闲置容量可借；也没有 freeze，整个窗口期含峰值时刻仍按正常节奏发布。这套经验已沉淀为 2028 奥运会可复用的 runbook。
engineering.fb.com/2026/10/1…
一句话介绍优秀github repo:
pingdotgg/t3code — 用手机 App、网页或桌面端统一操控本机上的 Claude Code、Codex、Cursor 等 coding agent。⭐ 30,047｜TypeScript
github.com/pingdotgg/t3code
RAG是什么？ LlamaIndex 把它分为两步决策："找到证据"和"书写答案"。
检索增强生成（RAG）的两部决策：先找到有用的证据，再决定怎么把证据变成答案。小路对照 LlamaIndex 的三份官方文档（索引指南、节点后处理器、响应模式）读了一遍，讲的是各模块怎么工作。
LlamaIndex 把索引、检索、后处理和响应合成拆成独立的阶段，每个阶段可以换自己的策略。
先给您一条主线：
索引->检索->后处理->合成 （组织证据，挑出候选，筛选重排，最后决定怎么写成答案）
1. 索引。文档里，节点（Node）对应从文档里切出来的一块文本，索引负责组织这些节点。向量索引给每个节点存一个嵌入，查询时取最相似的 top-k 个节点。关键词表索引从每个节点提取关键词，查询时从问题里提取关键词，再去匹配。树索引从根往叶子逐层遍历，默认每层只选一个子节点。属性图索引先构建带标签的知识图谱，构建方式可以让 LLM 自由抽取，也可以用严格的模式。
这些差别说明，选哪种索引，既影响准备阶段，也影响查询阶段做什么。以文档为例，摘要索引（Summary Index）在没有其他查询参数的时候，会把列表里所有节点都交给响应合成模块。索引建得更丰富，也不会把所有成本都搬出请求路径。
2. 检索与后处理。检索器为一次查询挑出候选节点。后处理器拿到这批候选，做过滤、重排之类的转换。文档里最常见的位置，是查询引擎里检索之后、合成之前，也可以单独拿来处理检索结果。
文档里的例子能说明问题：SimilarityPostprocessor 会按相似度阈值（例如 0.75）过滤节点，CohereRerank 用 top_n 保留重排后的前几个，TimeWeightedPostprocessor 用 top_k 保留前几个。所以检索数量调大，不等于合成器就能看到更多证据。候选在后处理这一步，可能已经被筛掉了。
3. 合成。合成器决定怎么花模型的上下文窗口和调用次数。
refine 模式逐块处理：第一块配合 text_qa_template 提问，之后每一轮把上一轮的答案、下一块和原问题一起交给 refine_template。文档明确写了，每个节点或检索块对应一次单独的模型调用。文档说它适合要更详细答案的场景。
compact 是默认模式。它先把检索到的块拼接打包，塞进尽可能多的文本（要考虑 text_qa_template 和 refine_template 里较大的提示词），所以调用次数比 refine 少。如果文本太长装不进一个提示词，就切成需要的段数，每一段当作一个块交给 refine。
这里有一个常见的成本误区：compact 减少调用，但并不保证每个请求只调用一次。证据超出提示词空间，仍然会有多次调用。
另外，`simple_summarize` 是另一种模式，它把所有块截断到一个提示词里，文档提醒可能因为截断丢失细节。这是 `simple_summarize` 的行为，不要拿来解释 compact。compact 的做法是切分，不是截断。
以上三点来自官方文档。接下来是小路自己的判断。
4. 评估。检索质量和答案质量要分开测。相似度能找出相关的文字，但证明不了这段文字支持了要回答的论断。一个写得很流畅的回答，可能掩盖了证据集是空的或者不相关。附上来源节点，也不自动等于忠实的引用。
落到实践上，我的建议是在每个边界处看一眼：
1. 检索出了多少候选。文档里的 `no_text` 模式只跑检索、不调用模型，之后可以通过 response.source_nodes 检查。
2. 后处理之后，留下了哪些证据。
3. 提示词里实际放了什么。
4. 模型调用了几次。
5. 最终答案挂了哪些来源。
简单总结一下就是：LlamaIndex 最大的好处，是流水线可以一段一段地替换，索引、后处理器、响应模式都有各自的选项。但抽象不会替您做评估，每个边界上实际通过了什么，仍然需要您自己去看。
官方文档：
developers.llamaindex.ai/pyt…
developers.llamaindex.ai/pyt…
developers.llamaindex.ai/pyt…
山景城小路 retweeted
大模型得了"顺行性遗忘症"
---小路带您精读谷歌 Nested Learning，看 AI 怎么在学新东西的同时不忘旧本事
周日，吃完costo的精品热狗和costco冰咖啡 小路精读了谷歌的这篇论文：《Nested Learning: The Illusion of Deep Learning Architecture》（嵌套学习：深度学习架构的幻觉）
我看英文去有人说它有"Attention Is All You Need V2"的野心。这个比较我先不做评价，但它确实有才弄个根本提高目前大模型范式的野心：为什么今天的大模型，训练完就定型了？
全文的脉络是这样的：从一个医学比喻出发，走到一个统一的视角，再走到一个叫 HOPE 的原型模型。接下来小路一步一步带您跟着作者的思路走。
首先提到顺行性遗忘症（anterograde amnesia）。患者以前的记忆都在，但新的记忆存不进去，永远活在"当下"。可以认为目前的大模型就是这样。它的知识来源只有两处：一处是上下文窗口里的内容，另一处是预训练结束那一刻固化在 MLP 里的参数。窗口里的东西，永远不会写进参数。
先给您一条主线，后面的讨论都是沿着这个主线进行的，您看的糊涂了可以回到这里对照：
联想记忆->更新频率->层级->知识传递->HOPE （把每个组件看成记忆，按更新快慢排成层级，层与层之间传递知识，最后搭出 HOPE）
1. 联想记忆。这里把记忆定义为"输入引起的神经更新"，把学习定义为"获得有用记忆的过程"。联想记忆就是把键映射到值的算子。反向传播本身就是一个联想记忆：它把每一层的输入，映射到这一层预测的"意外程度"（surprise，也就是局部误差信号）。读者们注意一下！这一步很关键，后面所有东西都被放进了这个逻辑框架。
2. 优化器也是记忆。带动量的梯度下降里，动量项是一个小记忆，负责压缩过去的梯度，所以整体是两层嵌套的优化。在逐元素 L2 回归目标下，Adam 在理论上是压缩梯度的最优联想记忆。
这里有一个具体的数字。动量衰减取 0.9 的时候，最近 6 个梯度贡献了至少 50%，最近 43 个梯度贡献了 99%。43 步之外的历史，几乎不起作用。持续学习时模型容易忘掉以前任务，原因之一就是优化器的这份记忆太短。
基于这个视角，作者设计了 Delta Momentum、Deep Momentum（用 MLP 当动量的记忆）、Delta Gradient Descent，还有带多个动量项的 M3 优化器。
3. 架构也是记忆。线性注意力的更新，等价于一个矩阵记忆在用梯度下降压缩键值对。softmax 注意力，则是同一个回归目标的非参数解。
4. 频率。这是全文最核心的一步。作者给每个组件定义了更新频率，也就是单位时间内更新几次，并按频率把组件排成"层级"。按这个标准，Transformer 里注意力的频率是无穷（每个 token 都在变），MLP 的频率是 0（预训练后不再更新）。只有两个极端，中间是空的。
作者拿大脑做对照：gamma 波（30 到 150 Hz）对应感官信息，beta 波（13 到 30 Hz）对应主动思考，delta 和 theta 波（0.5 到 8 Hz）对应记忆巩固。大脑是多个时间尺度同时在运转的。
5. 连续体记忆系统（CMS）。传统的"短期记忆、长期记忆"是二分法，CMS 把它换成一条频率谱。高频的部分负责快速适应，存得短。低频的部分负责稳定保存。作者说这种设计还会形成一个循环，忘掉的知识有可能被部分找回。CMS 用来替换 Transformer 里的 MLP 块。
6. HOPE。它由两部分组成：一个自我修改的序列模型，加上 CMS。"自我修改"的意思是，模型自己生成键、值、学习率和遗忘门，也就是学习自己的更新规则。
那么经常提到"幻觉"指什么？
作者的观点是，注意力、循环网络、卷积、MLP，看上去是五花八门的异质结构。放进嵌套学习的视角之后，它们都是前馈网络或矩阵记忆，区别只在层级、目标和更新规则。我们看到的"架构差异"，都是只盯着优化问题的解、没看见频率这根轴造成的错觉。
作者还有两个观点。一是模型的"深度"可以来自嵌套的层级数，不只是堆叠的层数。二是上下文学习（in-context learning）不是涌现出来的，它是"拥有多个层级"的直接结果。
实验方面，小路读到的是这样：持续学习用的是类增量文本分类（CLINC、Banking、DBpedia），骨干是 Llama-3B 和 Llama3-8B，对比 ICL、EWC、InCA，HOPE 的准确率最高。长上下文用的是 MK-NIAH、LongHealth 和 QASPER，随着记忆层级从 1 增加到 4，表现持续提升。
再说几点保留意见。
1. 这是概念验证。论文自己的说法就是 proofs-of-concept。
2. 不要误解的是，文章中提的两种"忘"是不同的。一个是训练过程中的灾难性遗忘，一个是推理中，聊着聊着丢了长对话的前文，这是两个问题。HOPE 主要碰的是前者。
3. 映射到开头提到的人类大脑记忆的比喻，这个论文的工作只做了一半。大脑的记忆巩固有两个阶段，在线巩固和离线巩固（睡眠中的重放）。这篇只聚焦在线的那前一半，后一半好像目前来看有点难。希望后来的学者有突破吧。
最后谈我自己的经验。我们和 AI 合作的时候也有体会：每开一个新对话，它就不记得上次的约定和处理过的事情，我只好重新Load kill,再copy一些过去的promopt重新setup context.。这正是"写进上下文，不写进参数"。如果模型里真有一层慢速的记忆， 一本比较复杂的问题就是，如何决定什么内容可以写入慢及一层，然后如果更新它。
简单总结一下就是：Nested Learning 把模型的每个组件都看成联想记忆，按更新频率排成层级。Transformer 只有"无穷快"的注意力和"完全不动"的 MLP 两个极端，CMS 的目的是在中间补上一整条频率谱，HOPE 是这个想法的第一个原型。它离"学了新东西，还不忘旧本事"的目标还有距离。
原文：arxiv.org/abs/2512.24695
iphone duo 抢手， 富士康 台积电被要求增加三成订单？
为什么读新闻不能只读中文媒体？ 中文媒体都在传Tim Pan测评导致duo大量退货，苹果这次栽了。
Taiwanese media report that the iPhone Duo is selling like hotcakes, prompting Apple to ask suppliers to ramp up production and increase orders by 30% to meet market demand.
All iPhone Duo models reportedly sold out on launch day, with the next batch of shipments not expected until January 22, 2027.
money.udn.com/money/story/56…
Chamath这个帖子一出 对于市场的恐吓可不小。
他有一个核心观点是 2027年将会有不小的空闲空置算力、因为算力购买者实际的收益达不到预期。 债务过高或者组织结构过大掉头决策慢的公司将会度过困难的一年。
没有具体点名 但是有以上问题的公司肯定会对号入座。
周一股市不看好。
As someone with a portfolio of energized land assets here is what I am seeing:
1. Neoclouds are disorganized and poorly capitalized. Some are definitely better than others however.
2. Hyperscalers are intractable, bureaucratic organizations that take 3 months to do an NDA and want 18mo escrow periods. We built our portfolio by competing against these terms because of our speed and simplicity. The more future assets orgs like ours win, the bigger the problem for the hyperscalers downstream (see 3).
3. There are delays in the existing pipeline that will catch people off guard in 2027. Hyperacalers will (obviously) react by focusing on their own internal compute needs over any third party. If the third party is a model company, they will tell them to go through their model router where they will also take a non-trivial vig. Them telling Ant they have no compute for them (rumored in Ant’s S-1) if true is a huge tell that this is already happening.
All of this is to say that it does look like there will be a lot of partially stranded compute and compute sitting in inventory in 2027 than is currently forecasted. This is bought and paid for but effectively underearning (below total cost of capital) or collecting dust. We see this as true for everyone - model companies, hyperscalers, neoclouds except ONE (you can guess which one).
This dislocation will benefit two kinds of orgs: the non-bureaucratic big scalers who can build industrial scale quickly and the nimble, well capitalized players feeding them.
2027 will be a turbulent year because it will clear out a bunch of wrong/bad bets. It will also be a consolidation year for a few.
