AI & Blockchain Engineer: https://xitter.cf/t.co/MkJcrSYUac
Joined October 2021
- Tweets175
- Following970
- Followers281
- Likes1.4K
Tae Hwan Jung retweeted
언어모델의 계보에 대해 mlxcel 만들면서 삽질했던 내용들을 정리한 발표자료. 누가 어떻게 영향을 받으면서 발전해 오는지에 대해 아키텍처 관점에서 지난 5월에 이야기해 보았었다.
speakerdeck.com/inureyes/llm…
Tae Hwan Jung retweeted
KIMI K3의 역설: KV 캐시는 줄었지만 GPU와 HBM 수요는 더 커진다?
쉽게 말하면: Kimi K3는 데이터를 저장하는 부담은 줄였지만, 모델 자체가 워낙 커서 여러 GPU에 나눠 돌려야 한다. 결국 GPU와 HBM, 네트워크 수요는 줄기는커녕 더 늘어날 수 있다.
기술적으로 말하면: Kimi K3의 KDA는 KV 캐시 전송 부담을 최대 10분의 1로 줄이지만, 2.8조개가 넘는 파라미터와 896개 전문가 모델을 여러 GPU에 나눠 올려야 해 전체 시스템은 오히려 더 많은 GPU, 메모리, 네트워크를 요구한다.
K3의 가중치만 1.5TB 이상의 HBM을 차지한다. 남은 공간이 부족해 KV 캐시는 CPU DDR5와 NVMe로 밀려날 수 있고, WideEP는 수많은 GPU 사이에서 가중치를 주고받기 위해 막대한 네트워크 대역폭을 사용한다.
Kimi도 최적의 추론 환경으로 64개 이상의 가속기를 권장한다. 효율 개선이 하드웨어 수요를 줄이는 게 아니라 AI 사용량과 시스템 규모를 키우는 제본스의 역설이 다시 나타날 수 있다는 이야기다.
*KDA는 이전 내용을 모두 쌓아두는 대신 중요한 정보만 압축해 기억해 KV 캐시 부담을 줄이는 Kimi의 선형 어텐션(linear attention) 기술이지만, 거대한 모델 자체가 요구하는 GPU와 HBM 수요까지 없애지는 않는다.
#KimiK3 #KDA #선형어텐션 #LinearAttention #KV캐시 #KVCache #엔비디아 #NVIDIA #고대역폭메모리 #HBM #디램 #DRAM #AI인프라 #AIInfrastructure #네트워킹 #Networking $NVDA $SKHY $MU $DRAM $SOXX $SMH
Tae Hwan Jung retweeted
If you run this workflow, ask Fable to make codex the workhorse. github.com/steipete/agent-sc…
Tae Hwan Jung retweeted
The most common mistake Asian immigrant founders make in SF is just sitting down and coding.
An accelerator I really respect told me this and I strongly agree. He said outgoing immigrant founders' output is much, much bigger than the introverted ones.
And I'm not telling you to always be active on X. You came here to meet your customers, to learn about a new environment, to meet potential partners. If you just sit down and code all day, you're losing all the opportunities you came here for.
Tae Hwan Jung retweeted
1/3 PropAMM liquidity is now fully operational on Ethereum mainnet!
Three makers are live in every Titan block, and quotes are already consistently beating Binance VIP9 taker fees for retail orders (trades <$1k).
Tae Hwan Jung retweeted
打开多个 Claude Code 会话窗口进行不同项目开发，想随时查看 Token 消耗和限流状态，终端切来切去非常麻烦。
在 GitHub 上看到 abtop 这个工具，给 AI 编程助手打造了一块直观的系统监控面板。
在终端里一屏展示所有 Claude Code 和 Codex CLI 会话的状态，包括 Token 用量、上下文占比、速率限制等。
GitHub：github.com/graykode/abtop
纯本地读取进程状态，不需要输入任何 API 密钥，有效保障了数据隐私安全。
如果在 tmux 终端里运行还能一键跳转到对应会话，适合经常打开多个 AI 编程助手的朋友。
Tae Hwan Jung retweeted
THE JOB MARKET IS ABOUT TO GET WEIRD.
And most people are not prepared for what is coming.
Companies in 2026 are not looking for data scientists.
They are not looking for ML engineers.
They are not looking for people who can build models from scratch.
THEY ARE LOOKING FOR AI NERDS.
The person who walks into a meeting, sees a 4 hour manual process, and kills it in 10 minutes with Claude Code and LLMs.
The person who refuses to do anything manually twice.
The person who looks at every repetitive task and asks one question:
Why is a human still doing this.
That mindset is worth more right now than a machine learning PhD.
More than five years of Python experience.
More than any certification from any university.
THE NEW VALUABLE SKILL IS NOT TECHNICAL.
It is a refusal to accept inefficiency.
The people who develop that refusal this year will be completely unemployable in the old way and completely irreplaceable in the new one.
Which side of that line are you on.
Tae Hwan Jung retweeted
Built a small toolkit for the Vercel April 2026 incident.
- audit env vars across all your projects
- rotate internal-random secrets to "sensitive" type per-vendor runbooks (Supabase, Postgres, OAuth, etc.)
- self-contained handoff docs you can hand off mid-incident
Disclaimer: Not perfect, but use it to move fast.
github.com/subinium/vercel-i…
We’ve identified a security incident that involved unauthorized access to certain internal Vercel systems, impacting a limited subset of customers. Please see our security bulletin:
vercel.com/kb/bulletin/verce…
Tae Hwan Jung retweeted
AI가 오고 개발판은 하루하루가 천지개벽인데, 개발의 본질은 하나도 안 바뀐 것 같다.
우리는 문제를 푸는 사람들이고, 한번에 풀기 어려운/커다란 문제를 풀기 위해 끊임없이 도구를 깎는 사람들이다. 단지 적은 인력으로 더 어려운/커다란 문제를 풀 수 있게 되었을 뿐.
