Senior Principal Architect at @VMwareTanzu / @Broadcom | Ex @Pivotal | Bichon Frise 🍋🐩 | 4x DGX Spark

Tokyo, Japan
Joined April 2007
Include

Only show posts containing:

Exclude

Hide posts containing:

Time range
-
Minimum likes
カットするかもしれないけど、こんなマニアックな話、聞きたい人いるかな...
JJUG CCCで「Common Lisp処理系を50万行のJavaで作る — JVMバイトコード生成、Wasm、そしてClaude Codeとの付き合い方」という話をします rontolispの投稿に全く「いいね」がつかないので、あまり聞きに来る人がいないと予想していますが面白くします。ronotlispの話は↓で。 making.github.io/rontolisp/d…
242
Replying to @voluntas
ありがとうございます。製品関係ないんですねw
1
1
146
どのファンでどのくらいの効果があるのかぜひ知りたいです
DGX Spark x 2 向けにファンを買って見たが、静かでとても良い。
1
1,127
DeepSeek V4.1 Flash 1017やるならPiがいいのか。また試すかも。
I repeated DeepSeek V4.1 Flash 1017 benchmark 89 times across 9 harnesses to understand which works best. High effort, 5 attempts each: Pi harness: 40.4 Grok Build CLI: 40.4 DeekSeek: 39.2 OpenCode 2.0: 38.6 OpenCode: 36.6 Claude Code: 36.4 Codex: 33.2 Hermes Agent: 32 Kilo Code: 31.8 Codex kept failing several times exceeding the allowed time per repo (3 hours) and was judged where it finished. Based on what I tested, Pi, Grok Build CLI, and OpenCode 2.0 look like the strongest universal harnesses. This doesn't necessarily generalize. A detailed table with every run in the response🧵
230
DeepSeek-V4.1-Flash-1017が良いって言ってるひとはDSHを使っているのかな?
204
多分、自分はDeepSeek-V4.1-Flash-1017が合わないのは、ハーネスがClaude Codeだからだと思う。DeepSeek Harnessだったら違ったかもしれない。でも、Claude Codeで統一したいし、GLM 5.3 Flashなら快適に使えるからね。
199
GLM 5.3 Flashに戻し始めた。
DeepSeek V4.1 Flash (4x DGX Spark)、試したけど、GLM 5.3 Flashの方が好みかな。tok/sは速いけど、ものができるのが遅い。GLMに慣れると余計感じる。
1
279
速いんだけど、考えすぎなんだよなぁ...DeepSeek
159
DeepSeek V4.1 Flash (4x DGX Spark)、試したけど、GLM 5.3 Flashの方が好みかな。tok/sは速いけど、ものができるのが遅い。GLMに慣れると余計感じる。
1
1
2
705
Replying to @making @MiaAI_lab
Just barely fit it on the disk 😅
1
165
Q. Claudeが不要になりますか? A. いいえ、よりClaudeに依存します(セットアップ丸投げ)。Claudeがないとセットアップもチューニングもできません。
Q. ローカルLLMなぜやってますか? A. 楽しいから。 Q. 機材買ってペイできますか? A. ペイできない。ペイできる能力あるなら社畜やってない。 Q. ローカルLLMで儲かりますか? A. NVIDIAが儲かります。 Q. ChatGPTやClaudeで十分では? A. その通りです。 Q. API使った方が安くないですか? A. それ以上はいけない。 Q. クラウドの方が速くないですか? A. 速いし安い。以上。 Q. 電気代は? A. 計算しないことにしている。 Q. 128GBもメモリ必要ですか? A. 128GBしかないんです。 Q. ローカルLLMのメリットは? A. 自分で全部管理できる。 Q. デメリットは? A. 高い。 Q. DGX Sparkもう1台買うんですか? A. 止めてください。 Q. ローカルLLMは将来性ありますか? A. わかりません。 Q. 何の役に立つんですか? A. こっちが聞きたい。 Q. 結局、何がしたいんですか? A. 私にもわからない。
1
12
3,008
JJUG CCCで「Common Lisp処理系を50万行のJavaで作る — JVMバイトコード生成、Wasm、そしてClaude Codeとの付き合い方」という話をします rontolispの投稿に全く「いいね」がつかないので、あまり聞きに来る人がいないと予想していますが面白くします。ronotlispの話は↓で。 making.github.io/rontolisp/d…
3
5
883
Replying to @MiaAI_lab
Does it work with 1TB NVMe model? Thanks for sharing. Your recipes are always awesome! Can't wait to try this one too!
1
1
248
最高だ。試すしかない
Run DeepSeek V4.1 Flash 1017 with the full official weights on your 4x DGX Sparks, using TensorFold, Abliterated! 🔥 - Full support for switchless TP4 - 1M context, 16M total KV cache - 16 concurrent sessions with 1M each - 15 GB of free mem per Spark after load - OFFICIAL weights, no further quantization! - Needle passed at 100% depth - ABLIT is off by default. Gated. Performance tested on a switchless TP4. It should be faster with a switch. Decode speeds, non-greedy, thinking on: - 66 tok/s on prose, single stream - 96 tok/s on prose, 2 concurrent streams - 173 tok/s on prose, 16 concurrent streams Decode speeds, greedy, thinking off: - 85 tok/s on prose, single stream - 113 tok/s on prose, 2 concurrent streams - 210 tok/s on prose, 16 concurrent streams Decode speeds per stream in deep context (128k), non-greedy, thinking on: - 58.6 tok/s on prose, single stream - 83 tok/s on prose, 2 concurrent streams - 132 tok/s on prose, 8 concurrent streams Prefill: 4000+ tok/s up to 256k. This is the best model to run if you have 4x DGX Sparks, bar none! It works so well on the Sparks that it's unbelievable. Get it here: mia-ai.net/models/DeepSeek-V…
1
367
Toshiaki Maki retweeted
Run DeepSeek V4.1 Flash 1017 with the full official weights on your 4x DGX Sparks, using TensorFold, Abliterated! 🔥 - Full support for switchless TP4 - 1M context, 16M total KV cache - 16 concurrent sessions with 1M each - 15 GB of free mem per Spark after load - OFFICIAL weights, no further quantization! - Needle passed at 100% depth - ABLIT is off by default. Gated. Performance tested on a switchless TP4. It should be faster with a switch. Decode speeds, non-greedy, thinking on: - 66 tok/s on prose, single stream - 96 tok/s on prose, 2 concurrent streams - 173 tok/s on prose, 16 concurrent streams Decode speeds, greedy, thinking off: - 85 tok/s on prose, single stream - 113 tok/s on prose, 2 concurrent streams - 210 tok/s on prose, 16 concurrent streams Decode speeds per stream in deep context (128k), non-greedy, thinking on: - 58.6 tok/s on prose, single stream - 83 tok/s on prose, 2 concurrent streams - 132 tok/s on prose, 8 concurrent streams Prefill: 4000+ tok/s up to 256k. This is the best model to run if you have 4x DGX Sparks, bar none! It works so well on the Sparks that it's unbelievable. Get it here: mia-ai.net/models/DeepSeek-V…
81
43
31
716
64,533
Replying to @Bizuayeu
是非upstream に取り込んでいってもらいたいです。現状のクオリティ正直自分の用途には使いものにならないレベルで… 他の人の作レシピにこのような改善が含まれていてほしいです
1
1
21
去年、10GbEネットワークをセットアップしたけど、数百GBのLLMモデルを退避させることが増えてきたのでようやく役に立ってきた。失敗したのはハブを5ポート。一年でサーバーが5台超えるとは思っていなかった。結局8ポートを書い直した -- 自宅ネットワークを10GbE化したメモ ik.am/entries/873
2
380
Replying to @Bizuayeu
inviteしました!
1
1
30
Replying to @Bizuayeu
外に出せるように色々整備してからpushします
1
5
Replying to @Bizuayeu
githubのprivate repoに移してinviteしますね。僕名義では出せないので、代理で送ってくれても良いですw
1
1
30