
Senior Principal Architect at @VMwareTanzu / @Broadcom | Ex @Pivotal | Bichon Frise 🍋🐩 | 4x DGX Spark
Tokyo, Japan
Joined April 2007
- Tweets36.7K
- Following203
- Followers3.8K
- Likes6.1K
カットするかもしれないけど、こんなマニアックな話、聞きたい人いるかな...
JJUG CCCで「Common Lisp処理系を50万行のJavaで作る — JVMバイトコード生成、Wasm、そしてClaude Codeとの付き合い方」という話をします
rontolispの投稿に全く「いいね」がつかないので、あまり聞きに来る人がいないと予想していますが面白くします。ronotlispの話は↓で。
making.github.io/rontolisp/d…
DeepSeek V4.1 Flash 1017やるならPiがいいのか。また試すかも。
I repeated DeepSeek V4.1 Flash 1017 benchmark 89 times across 9 harnesses to understand which works best.
High effort, 5 attempts each:
Pi harness: 40.4
Grok Build CLI: 40.4
DeekSeek: 39.2
OpenCode 2.0: 38.6
OpenCode: 36.6
Claude Code: 36.4
Codex: 33.2
Hermes Agent: 32
Kilo Code: 31.8
Codex kept failing several times exceeding the allowed time per repo (3 hours) and was judged where it finished.
Based on what I tested, Pi, Grok Build CLI, and OpenCode 2.0 look like the strongest universal harnesses. This doesn't necessarily generalize.
A detailed table with every run in the response🧵
多分、自分はDeepSeek-V4.1-Flash-1017が合わないのは、ハーネスがClaude Codeだからだと思う。DeepSeek Harnessだったら違ったかもしれない。でも、Claude Codeで統一したいし、GLM 5.3 Flashなら快適に使えるからね。
Q. Claudeが不要になりますか?
A. いいえ、よりClaudeに依存します(セットアップ丸投げ)。Claudeがないとセットアップもチューニングもできません。
Q. ローカルLLMなぜやってますか?
A. 楽しいから。
Q. 機材買ってペイできますか?
A. ペイできない。ペイできる能力あるなら社畜やってない。
Q. ローカルLLMで儲かりますか?
A. NVIDIAが儲かります。
Q. ChatGPTやClaudeで十分では?
A. その通りです。
Q. API使った方が安くないですか?
A. それ以上はいけない。
Q. クラウドの方が速くないですか?
A. 速いし安い。以上。
Q. 電気代は?
A. 計算しないことにしている。
Q. 128GBもメモリ必要ですか?
A. 128GBしかないんです。
Q. ローカルLLMのメリットは?
A. 自分で全部管理できる。
Q. デメリットは?
A. 高い。
Q. DGX Sparkもう1台買うんですか?
A. 止めてください。
Q. ローカルLLMは将来性ありますか?
A. わかりません。
Q. 何の役に立つんですか?
A. こっちが聞きたい。
Q. 結局、何がしたいんですか?
A. 私にもわからない。
JJUG CCCで「Common Lisp処理系を50万行のJavaで作る — JVMバイトコード生成、Wasm、そしてClaude Codeとの付き合い方」という話をします
rontolispの投稿に全く「いいね」がつかないので、あまり聞きに来る人がいないと予想していますが面白くします。ronotlispの話は↓で。
making.github.io/rontolisp/d…
📣 JJUG CCC 2026 Fall 11/28(土)開催!
タイムテーブルを公開しました✨
参加者も絶賛募集中です!ぜひご参加ください🙌
🎟️ 参加登録
jjug.doorkeeper.jp/events/19…
📋 タイムテーブル
sessionize.com/api/v2/o3lp3z…
#jjug_ccc
Replying to @MiaAI_lab
Does it work with 1TB NVMe model?
Thanks for sharing. Your recipes are always awesome! Can't wait to try this one too!
最高だ。試すしかない
Run DeepSeek V4.1 Flash 1017 with the full official weights on your 4x DGX Sparks, using TensorFold, Abliterated! 🔥
- Full support for switchless TP4
- 1M context, 16M total KV cache
- 16 concurrent sessions with 1M each
- 15 GB of free mem per Spark after load
- OFFICIAL weights, no further quantization!
- Needle passed at 100% depth
- ABLIT is off by default. Gated.
Performance tested on a switchless TP4. It should be faster with a switch.
Decode speeds, non-greedy, thinking on:
- 66 tok/s on prose, single stream
- 96 tok/s on prose, 2 concurrent streams
- 173 tok/s on prose, 16 concurrent streams
Decode speeds, greedy, thinking off:
- 85 tok/s on prose, single stream
- 113 tok/s on prose, 2 concurrent streams
- 210 tok/s on prose, 16 concurrent streams
Decode speeds per stream in deep context (128k), non-greedy, thinking on:
- 58.6 tok/s on prose, single stream
- 83 tok/s on prose, 2 concurrent streams
- 132 tok/s on prose, 8 concurrent streams
Prefill: 4000+ tok/s up to 256k.
This is the best model to run if you have 4x DGX Sparks, bar none! It works so well on the Sparks that it's unbelievable.
Get it here:
mia-ai.net/models/DeepSeek-V…
Toshiaki Maki retweeted
Run DeepSeek V4.1 Flash 1017 with the full official weights on your 4x DGX Sparks, using TensorFold, Abliterated! 🔥
- Full support for switchless TP4
- 1M context, 16M total KV cache
- 16 concurrent sessions with 1M each
- 15 GB of free mem per Spark after load
- OFFICIAL weights, no further quantization!
- Needle passed at 100% depth
- ABLIT is off by default. Gated.
Performance tested on a switchless TP4. It should be faster with a switch.
Decode speeds, non-greedy, thinking on:
- 66 tok/s on prose, single stream
- 96 tok/s on prose, 2 concurrent streams
- 173 tok/s on prose, 16 concurrent streams
Decode speeds, greedy, thinking off:
- 85 tok/s on prose, single stream
- 113 tok/s on prose, 2 concurrent streams
- 210 tok/s on prose, 16 concurrent streams
Decode speeds per stream in deep context (128k), non-greedy, thinking on:
- 58.6 tok/s on prose, single stream
- 83 tok/s on prose, 2 concurrent streams
- 132 tok/s on prose, 8 concurrent streams
Prefill: 4000+ tok/s up to 256k.
This is the best model to run if you have 4x DGX Sparks, bar none! It works so well on the Sparks that it's unbelievable.
Get it here:
mia-ai.net/models/DeepSeek-V…
Replying to @Bizuayeu
是非upstream に取り込んでいってもらいたいです。現状のクオリティ正直自分の用途には使いものにならないレベルで…
他の人の作レシピにこのような改善が含まれていてほしいです
去年、10GbEネットワークをセットアップしたけど、数百GBのLLMモデルを退避させることが増えてきたのでようやく役に立ってきた。失敗したのはハブを5ポート。一年でサーバーが5台超えるとは思っていなかった。結局8ポートを書い直した
--
自宅ネットワークを10GbE化したメモ ik.am/entries/873
Replying to @Bizuayeu
githubのprivate repoに移してinviteしますね。僕名義では出せないので、代理で送ってくれても良いですw











