@CloudNativeFdn Ambassador, @Microsoft MVP, PyCon China & KCD Beijing organizer.🥑Open Source + Cloud Native + AI Infra. Working at @Kong . Opinions are my own
Joined August 2024
- Tweets4.5K
- Following839
- Followers5K
- Likes10K
Pinned Tweet
感谢大家的支持和热情，一下子就又到了例行的抽奖环节了 （我的习惯是每次破整数来一次）
送一个月我自部署的 DeepSeek。一键三连，下周三开奖。😁
PS：其实没啥额度限制，但为了防滥用，以及不影响我正常体验，我会设置并发 1，先按谷价给它先设置个 $200 的额度，用完我再加。
这是 cerebras 首次详细介绍怎么把万亿级别参数的模型部署在 WSE3 上。
以前我们看 cerebras/groq 这些厂商时，最想知道的就是大参数下部署的问题，虽然看这篇说明他们解决了一些问题，但成本难搞。
59 片晶圆，只硬件按估算价可能就上亿了，换 K3 1000+ token/s ，值吗 🤣
cerebras.ai/blog/how-we-depl…
Jintao Zhang 张晋涛 retweeted
The Kong engineering team has built a home-grown code reviewer agent. We have switched our reviewer to GLM-5.3, which gave us an 85% reduction in per-review cost compared with Opus-5, without meaningful loss of review quality.
Adding a basic classifier upfront in the PR reviewer pipeline cut our costs by another 37% by routing simple tasks to a cheaper model. Of course, we enforce all the budget caps using our Kong AI cost management module to manage tokenomics. Full post in the comments.
来了来了， SGLang 和 vLLM 都在今天宣布各自对 DeepSeek v4.1 flash 的推理效率已经达到了 Deepinfer 的水平。
大概看了眼，基本上把 Mega系列，DSpark 啥的各种集成过来，再加上各自本身的各种能力整合到了一起（Deepinfer 毕竟不是整套东西）
lmsys.org/blog/2026-10-24-ds…
vllm.ai/blog/2026-10-23-deep…
我还说为啥 Chroma 最近没啥动作了，原来是要加入 Replit 了。
Chroma 最知名的是它的向量数据库，但后来它推出 Cloud 版本时，定价很便宜，我当时还讨论这怎么持续下去。
加入 Replit 也算是个好事儿，据说 Replit 增长还不错的
trychroma.com/blog/chroma-jo…
最近 OpenAI 和 Grok 的吵吵闹闹，结果 Anthropic 的人离职了？
🤣 这也不是第一第二吵架把第三干没的桥段啊
I’ve left Anthropic after more than a year of working on Claude Code and seeing it scale larger than I ever imagined.
I have really loved working at Ant and believe deeply in the mission, and most of all, the idea of a race to the top.
The idea that if we work hard and responsibly, we can raise the bar and inspire others to great outcomes. And if we all push each other to be better, things can be radically good. I will carry the spirit of this with me forever.
My colleagues at Anthropic are the most talented, thoughtful, competent, and earnest people I have ever met. I am glad they are at the wheel and trust them deeply.
To the community on X, thank you for everything. You’ve made this the most fun (and sometimes stressful) job I’ve ever had.
For me, it is time for a bit of a break before diving into something new.
If you want more excellent Claude Code content, you should follow @addyosmani , @lydiahallie, @_catwu, @ClaudeDevs and of course @bcherny who started it all.
在别家都先发 flash 的情况下， Kimi 直接发了 K3.1 Pro, 这是 Kimi 对这个模型的表现很有信心吗？
Introducing Kimi K3.1 Pro: our most capable 3T-class open-weight model.
🔹 1M-token context, 2.8T total / 104B active params (MoE), Multimodal.
🔹 Full-project coding: games in Unreal, Unity & Godot.
🔹 Excels at parametric 3D modeling in Blender & CAD.
🔹 More reliable at finance work: Accurate modeling with hallucination down by 65%.
🔹 Matching the strongest proprietary models across coding, agentic and knowledge benchmarks.
Kimi K3.1 Pro and K3.1 Pro Highspeed (2–3× faster) are now live on Kimi.ai, Kimi Work, Kimi Code, and the Kimi API.
Open weights by Nov 4, 2026.
🔗 API: platform.kimi.ai
🔗 Tech blog: kimi.ai/blog/kimi-k3-1-pro
xuanwo 提醒的合理！ 主要是我也在折腾（我还想试试看怎么让它更快！）
而且也不是什么商业服务，所以可用性不做保证。至于数据的话，这里不存，但也请勿上传啥敏感信息或者私钥啥的🤣 要不然有点啥事儿说不清
你们想要的活动来了， @aiandcloud 自己部署的 deepseek 集群，每个月 200 刀，按照低谷价格计算的 deepseek-v4.1-flash-1017，为了防止滥用限制了单并发。
替涛哥补充几个注意事项：
- 非盈利服务，不做稳定性保证
- 不会蒸馏，但是不要把什么敏感的东西传上来，什么私钥丢了这种事情不要倒打一耙
虽然这也不是这个事件的结束， eMudhra 已经被列入历史了 🤣
eMudhra 宣布退出全球 SSL/TLS 证书业务了，这里提到一条，这个业务只占它全球营收的 1% 是很小的一块。
我记得我旧账号也聊过一家卖证书厂商的骚操作，最后它也是关闭了相关业务结束的🤣
emudhra.com/en/press-release…
越来越魔幻了，eMudhra 的 8 张中间 CA 证书私钥已泄露，泄露原因据说是因为密钥生成随机数不足 🤣
其中 6 张为 TLS 中间 CA、2 张为代码签名 CA，各家浏览器/厂商啥的本身还信任了这个证书。不过事情曝光后，现在都已经撤销了信任，摘掉了根证书。
最近的安全事件太多了啊
emudhra.we-have-a-problem.co…
今天在 @AgenticAIFdn 迎来了 4 个新项目，这样就十个了。
这样的话，其实也可以看出来当前主要的一些方向和重心。 标准/Agent/网关/sandbox 就是基本盘了
我也没闲着 😁 也许还能努努力更快点
迄今为止，我用过的最爽的推理服务是 @aiandcloud 部署的 deepseek，背后是最新的 v4.1-flash-1017
400 tok/s + 99% 的缓存命中，还给我送每月 $10000 额度，根本用不完（每月限额对他来说只是个数字 🤣）
Amp Code 之前支持了 LLM 的 BYOK，现在连 Orbs 的 provider 也支持了 self-hosted 模式了。
实话说，我自己也构建了一套类似的平台，驱动着我的日常流程，所以我才能常说自己处在收菜模式。而其中 sandbox provider 我也确实预留了可扩展的接口，没想到 Amp 先发布了，非常棒！
GitHub CLI 新版本加了个特性，短时 token 自动续期。
这个放在最近这么一大堆安全事件中间来看，就很有意义了， 万一不慎 token 泄漏了，那么它可以在相对短的时间内过期，减少危害。
尤其是很多 Agent 会操作 gh 甚至读 token 啥的，不小心上传了，也不用太过于担心了
github.blog/changelog/2026-1…
巧了，再加上如果还有个 GitLab 用来存代码，那全有了。
评分是 10 的漏洞 🤣
thehackernews.com/2026/10/cr…
让我们想象一下你司架构是 NGINX v1.23.0 作为边缘节点，后面挂着 PHP-FPM 7.3 (刚花了几周时间从 5.6 升级上来) 的源站 + 前段时间刚花了大价钱采购来的 TiDB NewDB + Node.js 24 LTS Brotli 中间件，开启了 Brotil 压缩功能、Go 作为对外访问的网络沙箱、使用 Python + LiteLLM AI 企业内部 Harness 工具 (CI 昨晚刚从 PyPI 拉了新包并推送到了生产环境，现在全公司电脑都装上了这套 Harness)、公司服务器全部跑在 Linux 内核 c6e50df8 之前、网站的 HTTPS 证书由公司前段时间刚采购的无保险低价 Sectigo DV 证书（还没上 ACME 自动签发）、公司的 Vyper 智能合约部署在 Docker 29 + Kubernetes + Traefik Ingress 上开着 mTLS fail-open，宿主机还跑着 ASP.NET Core 面板和 .NET 本地服务、公司的软件和外发机密文件通过 emSign 代码签名，根证书库用 Go crypto/x509 + Rust webpki-roots + Python certifi
而你，是这家公司的核心 on-call 运维。
LiteLLM 再次被投毒，v1.107.0 如果有人在用就自查一下 😅 今年第二次了吧
socket.dev/blog/litellm-comp…
微软也加入了开源 sandbox 的战局，跨平台的轻量级 microvm 实现。
无论是 Windows 还是 Linux 都可以跑，应该也是 azure sandbox 的底层开源实现
github.com/microsoft/nvx
