Just do things Running big models on my own GPUs. https://teapawt.net/t.co/C9lQ771pmL | https://teapawt.net/t.co/qKWAuKxQQB | https://teapawt.net/t.co/WVfHJEQgma
Joined September 2022
- Tweets2.5K
- Following1.1K
- Followers6.5K
- Likes5.8K
Pinned Tweet
Why I’m still on X (Sep 2026)
It comes down to two things: speed and serendipity.
The information velocity here is unmatched. By the time trends hit other platforms, it's already too late.
I'm always open to interesting opportunities and connectiions.
My DMs are open—drop me a ping.
我为什么在 X？ (2025年7月)
过去，我相信做好一个产品是唯一重要的事。进入 AI 时代，我意识到有两点变得更为关键：
1. 无限贴近用户，理解他们的真实痛点。
2. 以最快的速度，将前沿技术转化为有效工具。
顶尖的技术论文，不应只停留在少数研究者的讨论中；同样，一线的用户需求，也亟需最强大的技术来解决。
所以我给自己找到了一个新角色：认知代理 (Cognitive Agent)。
我的工作就是连接这两者：将最前沿的理论，高速转化为能解决问题的有效工具。
在这里，你会看到：
1. 我对最新 AI 研究的硬核解读和如何落地。
2. 我对 AI 将如何重塑未来工作生活的思考。
无论你是想应用 AI 的同行，还是想借助 AI 破局的个人，都希望能给你带来启发。
手机用agent势在必行
欢迎大家关注我的下一个篇章～
专为每一个AI coder打造的全新远程工具
—— vibe42.ai
· 解决你的远程配网难题，让你随时随地猛猛vibe
· 网络切换不稳定，对话上下文总是丢，vibe42全球节点适配，你的上下文永远都在本地，完全不会丢，
· AI做的结果，不用切app，立马就能换桌面看效果
· 手机终端的中文输入法总是有问题，英文中文打两遍，vibe42 从根源解决适配问题
· 远程桌面手机显示字太小，每个页面都可单独选择
Tested DeepSeek-V4.1-Flash-1017, one RTX PRO 6000 96GB + 128GB RAM + NVMe SSD.
Checkpoint is running: 10.64 tok/s, 5.31s TTFT.
Memory split:
• GPU: 95 GiB peak (~79 GiB experts in the plan)
• RAM: ~100 GiB container peak (~92 GiB / 8,220 experts)
~195 GB total in memory (for the experts)
Also I use the SSD for inference:
• Full checkpoint: 405 GB on NVMe
• Engram: 203 GB of that, read on demand
The recipe is available on hf:
huggingface.co/LichAmnesia/D…
更新了Recipt Qwen 3.8 Flash Next
现在单机 RTX pro 6000 是市面上最快的还要快 30 倍
并且还做到了并行越多越快。
huggingface.co/LichAmnesia/Q…
本地跑 Coding Agent，最崩溃的瞬间是什么？
是每一轮对话都要把 130K 的上下文重新算一遍，光是等首 token（TTFT）就要干瞪眼 19.5 秒……
所以就算看上去本地模型可以 xxx token / s，但是你让本地模型写代码就会发现特别慢，因为 Cache hit rate 低。
这就是为啥 DS 🐮🍺
为什么之前这么慢？因为 Agent 每轮都会重发整段对话。一张 RTX PRO 6000 的显存 KV 池差不多能装 80 万 token，200K 的长会话最多塞 4 个。只要你开到第 5 个会话，前缀缓存就会按 LRU 疯狂互相挤占，导致每轮都在全量重算！实测下来真实负载命中率只有惨兮兮的 26–29%，如果开 9 个会话轮转测试，命中率直接挂零（0%）。
我给 KV Cache 加了 64GB 的内存层（RAM offload）。同一张卡、同一份权重、同样的量化，首 token 直接干到了 0.64 秒！ 提速整整 30 倍，丝滑得不像本地模型，哈哈。
可是这样我优化完成 Cache hit rate 才 30%。真不敢想 90% 以上 Cache hit rate 是得优化成什么样子。
食材还是 Qwen 3.8 flash next
配方在这里： github.com/LichAmnesia/qwen3…
单卡 RTX PRO 6000 跑 Qwen3.8-Flash-Next 的详细配置。
专门跑了 SWE-bench Pro 看跑分来验证能力。（后面大部分模型都用 DeepSWE 跑分了）。目前看起来接近 Opus 4.8
实测数据：
1/ 代码生成 181 tok/s，首 token 约 95ms
2/ 16 并发总吞吐 595 tok/s
3/ 262K 上下文，工具调用 16/16 通过
4/ SWE-bench Pro 50 题分层抽样：66分（Qwen 官方卡标 62.5）
整套部署我开源了：github.com/LichAmnesia/qwen3…
本地模型再也不只是玩具了
周末的 48 小时，我断开了所有云端 API，纯靠本地跑的 Qwen 3.8 Next Flash，从零手搓了一个完整的开源项目。
不仅跑通了。还把目前大热的 AI 智能语音输入 + 会议转录工作流 的功能给 1:1 复刻了出来。
每一行代码，100% 由本地模型生成。
分享一下我的一些技巧：
说实话，当我打开所有功能都 work 的时候有点头皮发麻。
1. 恐怖的并发吞吐：我同时开了 5 个 Agent 并行肝代码，本地推理速度硬生生飙到了 ~500 tokens/s。整整跑满 2 天，看着满屏代码瀑布流一样往下刷，而且加州电费之外成本为 0，这种爽感云端 API 给不了。
2. 纯本地的 Typeless 平替：底层直接用 本地 Whisper + Qwen 搞定了全套 ASR（语音识别）、智能润色排版和 Meeting 会议转录。
绝对的数据隐私：所有语音和会议记录全在本地闭环，0 数据上传，0 订阅费。
坦白讲，因为是 48 小时极限肝出来的版本，目前还有些小瑕疵（比如 Streaming 流式输出还没来得及接，底层性能优化也还有压榨空间）。
但这个实验已经彻底证明了一件事：只要工作流和并发设计得好，现在的本地模型，已经完全跨过了“重度生产力”的奇点。
代码全开源了，项目叫 Launch，欢迎各位大佬去玩玩、提 PR。
未来会添加更多常用的本地模型让这个工具更加有用。👇
单卡 RTX PRO 6000 跑 Qwen3.8-Flash-Next 的详细配置。
专门跑了 SWE-bench Pro 看跑分来验证能力。（后面大部分模型都用 DeepSWE 跑分了）。目前看起来接近 Opus 4.8
实测数据：
1/ 代码生成 181 tok/s，首 token 约 95ms
2/ 16 并发总吞吐 595 tok/s
3/ 262K 上下文，工具调用 16/16 通过
4/ SWE-bench Pro 50 题分层抽样：66分（Qwen 官方卡标 62.5）
整套部署我开源了：github.com/LichAmnesia/qwen3…
Where can I get one
Intel GPU D-series to reach 512GB memory on partner cards, leaker claims
🔗videocardz.com/newz/intel-gp…
账单爆炸基本都是因为缓存！！！
cache！
作为Cloudflare资深用户，我的独立开发生涯不断被账单背刺：
- 七月：图片转换被坑
- 八月：容器使用被坑
- 九月：prefetch DDOS 自己
- 十月：KV 缓存爆炸
这次分享的，就是我本以为开源框架应该已经做好了，但实际上 // TODO 多年的一个缓存陷阱：
meathill.com/posts/cloudflar…
建议多关注新上桌的
2026年 SEO 工具夯拉锐评 我直接排了
夯：Google Search Console
免费 数据直接来自 Google 本人
零搜索量的词能不能转化 只有它知道
夯：Ahrefs
外链分析还是天花板
就是贵 贵到肉疼
顶级：Screaming Frog
技术 SEO 的瑞士军刀
界面像 2005 年 但没人离得开
人上人：Semrush
什么都能做
什么都不是最强
NPC：Moz
DA 这个指标还在被乙方拿来报价
工具本身 存在感约等于零
NPC：Surfer 这类内容打分工具
教你凑关键词密度
凑出来的文章 AI 一眼就能认出来
拉完了：Ubersuggest
数据准不准 你自己心里有数
拉完了：一键生成 1000 篇的 AI 写作工具
内容农场 2.0
Google 的 spam 团队谢谢你
新上桌：AI 可见度追踪工具
ChatGPT、Perplexity、AI Overview 引不引用你
现在只有它们能看到
还没到夯 但明年大概率要涨
你会怎么排？评论区见 👇
Qwen 3.5 - 9B, you can train with a 3090.....
Then any small tasks you can beat frontier model.
We were able to fine tune an open weight model (Qwen3.5-9B) on proprietary internal data at @coinbase, and it out performed frontier models, at much lower cost and speed, for a specialized task (fraud prevention in this case).
I think we'll see more of this pattern inside companies. The frontier models are amazing generalists. But increasingly you'll see specialist models out perform on more narrow tasks, either working on teams, or by themselves.
We're making it easy to fine tune models internally for our employees. We even have a skill for it in our internal harness that makes it easy to spin these up and start training them:
"/fine-tune-and-serve-llm I want to fine-tune Qwen for payments risk review. help me get started"
I imagine we'll have some backend services that could be replaced entirely by this new architecture.
Code itself is dead.
Now is the time to go deep for the users' need.
Yes. The agent can write almost any code.
But I don't think it would be the case that we would wait for 5 mins for checking sports score (Agent is building the website).
There is a frontier model to generate images does not mean we will have a server running 24x7 available to use.
You can make any software as you want. How to sell is the hard part.
I'd expand the moats left to:
- Proprietary data or content: data nobody else has, or unique content you can create
- Network effects / community: users make it more valuable for each other
- Audience / distribution: you can get attention on demand
- Physical component: hardware, locations, real-world operations
- Capital: owning assets and investing (esp into the AI companies as they are and will suck up large parts of the economy)
- Regulatory: licenses and legal barriers
单卡 RTX PRO 6000 跑 Qwen3.8-Flash-Next 的详细配置。
专门跑了 SWE-bench Pro 看跑分来验证能力。（后面大部分模型都用 DeepSWE 跑分了）。目前看起来接近 Opus 4.8
实测数据：
1/ 代码生成 181 tok/s，首 token 约 95ms
2/ 16 并发总吞吐 595 tok/s
3/ 262K 上下文，工具调用 16/16 通过
4/ SWE-bench Pro 50 题分层抽样：66分（Qwen 官方卡标 62.5）
整套部署我开源了：github.com/LichAmnesia/qwen3…
