@GoogleDeepMind 刚刚发布了全新的世界模型Genie 4 之前Genie 3已经可以通过一段文字实时生成一个能自由探索的虚拟世界，720P、24FPS，而且能在一定时间里保持环境的一致性。但它还有很多问题，比如复杂物理交互、人物之间的互动，以及长时间模拟的稳定性。这次Genie 4开始引入Gemini的能力，让整个虚拟世界能够模拟更复杂的连续事件，包括物理效果、人物动作、原生音频和交互式对话。你可以进入一个AI生成的世界，触发一个事件，然后实时观察整个环境如何响应。过去几年，我们主要在研究怎么让 AI 理解语言、图片和视频，然后逐步学会使用工具、执行任务。但如果我们希望 AI 最终能够进入物理世界，它就需要理解自己采取的行动会造成什么后果。而现实世界的试错成本太高了。机器人不可能为了学会拿杯子，每次都真的摔坏一个杯子；自动驾驶也不可能通过真实交通事故来学习应对极端情况。所以世界模型有一个很有吸引力的前景：为 AI 创造可以不断探索、执行任务、犯错和积累经验的模拟环境。当然，模拟得像和模拟得对之间还有很长的距离。但我越来越觉得，未来 AI 的竞争可能会出现另一条重要战线：谁能为 Agent 提供规模更大、反馈更准确、足够复杂的训练世界（也就是RL环境）。这可能会成为推动下一阶段 AI 能力进步的重要基础设施。

Google DeepMind

@GoogleDeepMind16h

This is Genie 4, our most realistic and interactive world model yet. 🌐 Explore dynamic environments in real time to see how the scene responds, sounds, and how the people in it move, react, and speak.

3,019

Max For AI · Oct 27, 2026 · 2:59 PM UTC

Max For AI

@MaxForAI17h

👀OCR最严厉的父亲，百度文心又发新模型了。今天，百度开源了文心Unlimited OCR2，直接拿3600多页的《哈利·波特》七部全集做OCR测试，甚至还顺手把1200多页的《三体》全集也给解析了一遍。我看了一下技术报告，这次还挺有意思的。对比百度之前的一代Unlimited OCR，当时就靠着可以一次性解析几十页文档的能力，在HuggingFace上拿到了超过1000万次下载，GitHub也积累了将近3万Stars。但上一代其实还留下了一个很麻烦的问题。虽然它通过滑动窗口机制，解决了长文档解析过程中部分KV Cache不断膨胀的问题，但每次生成新的Token，模型仍然需要关注前面所有页面的视觉信息。这就导致一个很尴尬的情况：文档越长，每一步计算就越慢。到了几百页的时候，光是反复处理那些已经看过的视觉Token，就会产生巨大的计算开销。所以百度这次干脆换了一个思路。他们发现，人类在抄一本几千页的书时，其实根本不会每抄一页，就重新把前面几千页全部看一遍。正常人只会专注于当前页面，偶尔回头参考一下需要的信息。于是，他们借鉴这个习惯，搞出了一套新的稀疏参考滑动窗口注意力机制（SR-SWA）。简单来说，就是Page Gate负责确定当前应该关注哪些页面，Token Sieve再从里面挑出最有价值的视觉信息块。同时，他们还加入了新的无限解码机制，把整本书分成连续的几个部分来处理，复用相邻部分的KVCache，处理完的部分就释放掉。这样模型就可以一直往后读，而不需要把整本书的视觉缓存都塞进显存里。效果还挺夸张的。在他们新提出的百页级文档解析基准MarathonDoc Bench上，Unlimited OCR-2拿到了77.06分，第二名Kimi K3只有33.74分。处理百页级文档时，单步解码速度相比Full Attention提升了7倍。另一组测试中，KVCache峰值显存占用从47GB直接降到了1.77GB。而且这个模型的总参数量只有3B，每个Token实际激活大约5亿参数。现在回头看，从上一代的几十页，到这一代展示的几千页，百度算是沿着这条技术路线一直往前推。这次尤其有意思的地方在于，他们通过新的注意力机制和分块解码，让模型能够持续处理长度几乎不受限制的文档，同时将单步解码的计算开销和显存占用控制在相对固定的水平。论文目前在最高 300 页的文档上进行了系统性的精度评测，同时展示了连续解析 1200 多页《三体》和 3600 多页《哈利·波特》的案例。我觉得这件事放到 Agent 时代会越来越有价值。未来 Agent 要接管的真实工作，可能就是从几百页的财报里提取数据，从几千页的合同附件里核对条款，或者把一整套技术文档整理成可以直接使用的信息。如果连这些基础资料都无法稳定、低成本地解析，后面再强的推理和执行能力也很难充分发挥出来。现在中国的开源生态已经开始形成这样的技术接力：一个团队的研究成果，成为另一个团队继续创新的基础，新的模型又被开源出来，供更多开发者使用。我觉得这也是开源最有价值的地方。大家可以站在彼此的肩膀上，把原本昂贵、复杂的技术，一点点变成所有人都能用上的基础能力。 GitHub：github.com/baidu/Unlimited-O…

Baidu Inc.

@Baidu_IncOct 27

Unlimited OCR 2 is here, and it's open source. 📖 ✨ Longer documents can mean a lot more attention computation. Our new SR-SWA mechanism keeps that in check by condensing text-visual attention interactions into a fixed-size set of working references. Here's what it delivers: - Document parsing at virtually any length, within a finite context window - Nearly constant per-step decoding latency and memory footprint as documents grow longer - State-of-the-art performance on MPDocBench and MarathonDocBench, covering documents from dozens to hundreds of pages Check out the model here ↓

11,350