@muo_jp

アプリ書いたりサービス作ったりしてるAndroid好きです。

muo.jp/
Joined September 2009
  • Tweets76.4K
  • Following295
  • Followers2.1K
3.2KMedia
DGX Spark x2 + DeepSeek-V4-Flash用のultra-sparkdashをソース公開しました。表示系統はsparkDashの最新版からのforkとして実装しており、Webブラウザ上でリアルタイム表示できます。 Grafana+Prometheusでのメトリクス保存は任意導入要素ですが、個人的には可視化自体よりもこちらのほうが便利だと感じています。sparkDashを頻繁に開く必要なくトークン傾向やノード間通信傾向を視覚的に把握できるためです。 出力tokenを表示したくない場合は非表示化のオプションもあります。お手元のLLMで探索してみてください！ github.com/muojp/ultra-spark…

GitHub - muojp/ultra-sparkdash

Contribute to muojp/ultra-sparkdash development by creating an account on GitHub.

github.com
Kei Nakazawa
@muo_jpAug 28
DGX Spark x2でDeepSeek-V4-Flashの推論をしているところの可視化できた。 MoEの43層256(11,008)expert利用・MTP draftの受理/却下状況と2台間のRDMA通信スループットも盛り込んだもの この例でのdrafterからの受理は平均3.08/stepだけどOpenCodeでコーディングエージェント用に使っているときは実測もっと出てる デフォのメモリ割当だとシステムメモリが相当カツカツ、推論時にスワップ発生しているのはよくないので性能劣化の様子を見つつGPU_MEMORY_UTILIZATIONを0.80→0.78ぐらいに落としたほうがシステムとしては安定するかもしれない
4
1
10
2,072
みんな忘れているかもしれないけどDGX Spark類のローカルLLMのレシピとかおそろしい規模でLAN内任意コード実行しているわけで正直怖くて仕方ないし、リスクの塊（早晩どっかでエグい事故が起こると思う）だから NVIDIAがコミュニティに丸投げせずやる気出してくれるなら全部NVIDIAがメンテしてほしいんだよ。各種機材に合わせた量子化モデルにもFlareにも期待してる github.com/NVIDIA/flare-loca…

GitHub - NVIDIA/flare-local-inference

Contribute to NVIDIA/flare-local-inference development by creating an account on GitHub.

github.com
1
99
中規模のRustプロダクトでビルドがあまりにも遅いのでjemallocを削ってmalloc_trimで置き換えた回 CodexにRustでサーバー書かせると規模が膨らむうちに変なメモリプロファイルを取ってRSS増大抑制のためにjemalloc抱えているケースがある（あった）
1
138
DGX OSの最新版はDisplay Reserved Memory設定でデフォ2GBのVRAMを0.5GBまで減らせるのが魅力だけど 相変わらずバージョンアップで文鎮化寸前まで行ったという報告もあり7月版から相変わらず動けずに居る人々 私もです
netrunner
@plotarmordev2h
‼️ Your DGX Spark might be saving RAM for a monitor that you don't use. If it runs headless, set Display Reserved Memory to Auto in UEFI. With no display connected it keeps 0.5 GB instead of 2 GB. Steps below 🧵
2
143
AI全盛の現代でISUCONやったらどういう結果になるのかは結構興味ある。 DBやコードのチューニングはもちろん、歴史の中に埋もれ去った「ベンチマークツールが通るところを全部別言語で書き直す」「ユーザーランドへの切り替えコストを抑えるためにカーネル空間でサーバーを動かす」などなど王道も飛び道具も良い指示があればコンテスト時間内にやりきるところまでAIが可能にしてしまった
1
1
1
6
657
メイカーフェアローマ出展のおかげで、しばらく僕のArduinoの発音は本場仕込です
6
27
1,244
Kei Nakazawa retweeted
Kenta IDA
@cinimlOct 24
TangPrimer25KのSERDESで遊ぶ内容をまとめた小冊子、販売開始しました。 めずらしくカッとなって印刷したので紙版がありますｗ 1Gbpsくらいの信号をCDRして受信、1080p60Hz DVI受信、USB 2.0 Soft PHY, USB 3.0で420MB/s転送の解説があります。 fugafuga.booth.pm/items/9034… #GOWIN #FPGA

GOWIN SERDES活用 - fugafuga - BOOTH

GOWINのFPGAで高速シリアル通信を実際に動かす技術同人誌です。 汎用I/Oのオーバーサンプリングから始め、最後はSERDESでUSB 3.0デバイスを作ります。 4つの設計それぞれについて、設計の考え方に加えて、実機で見つかった問題とその原因、対策まで紹介します。

fugafuga.booth.pm
Kenta IDA
@cinimlOct 24
というわけでなんか届いた。別にイベント関係なく印刷してもいいんよね。売れるかは知らんけど。
16
2
60
2,972
これ「シーかランドか」って聞くんだけど北緯35.6287992 東経139.8843761（浦安市舞浜某所）を食わせるとどうなるんだ
寝ろ@XRay96Oct 2
ある緯度と経度の座標をAIに渡して「陸か海かどっち？」と聞く、それを繰り返して白黒の世界地図を作るベンチ
2
210
Some stats on #php2shell. In the 10 hours before it was publicly announced, across the @Cloudflare network we saw thousands of attempts to exploit it. That jumped to tens of thousands in the 45 minutes post announcement, hundreds of thousands within 2 hours, and millions now.
290
3,272
670
22,660
2,261,828
Kei Nakazawa retweeted
HiMorishige
@_himorishigeOct 21
うれしいアップデート！ DGX Sparkの10月のアップデートで、画面用に確保するメモリをUEFIで「Auto」にできるようになった。モニターをつながない使い方なら0.5GBで済み、既定の2GBよりOSやアプリが使える分が約1.5GB増える。ちなみに既定値は2GBのままなので、設定の変更と再起動が必要。 docs.nvidia.com/dgx/dgx-spar…
2
4
423
Kei Nakazawa retweeted
Yoshi Yamaguchi@ymotongpooOct 21
いまサンフランシスコでGrafana Labsのビジネス系年次イベントのObservabilityCONが開催されてるんですが、そこで発表されたGrafana Pagesが「次世代のダッシュボードツールとはなにか」という問いですらある新機能で面白い。動画を見てもらった方が早いと思う。 youtu.be/tk4GqZAc71M?si=71Q8… #grafana

Create custom visualizations | Introducing Grafana Pages | New from...

Grafana Pages is now in public preview in Grafana Cloud.Tell Assi...

youtube.com
2
3
1
35
4,867
Kei Nakazawa retweeted
𓆟@lililjiliijiliOct 19
8
811
5
7,123
78,238
Interface誌別冊付録「GOWIN FPGAでGbps超高速通信」もくじ確定 fpga.tokyo/gowin6/

Interface誌別冊付録「GOWIN FPGAでGbps超高速通信」もくじ確定 | FPGAマガジン公式

fpga.tokyo
4
20
1,433
GLM-5.3 fullの推論リソース（700GB+ VRAM）を投入してOpus 4.8並の性能しか出せないのはかなり絶望的だと思ったけど、DGX Spark 4台構成なら確実にBF16のフル構成ではないから そんなもんか。特にDeepSWEとか量子化でがっつり性能落ちるのをよく見る
Jim McPherson
@JamesMcPhersonOct 18
I've been using GLM 5.3-Full on 4 sparks for days now and it's truly trading blows with Opus 4.8. It's a model where even if everything stopped right here, it would by a huge margin pay for itself in productivity gained.
2
232
プライム感謝祭 特に買うもの無いなと思ってたけど、「macOSやLinuxから動的にポートをon/offできる」というAI+Android/iOS実機デバッグと最高に相性良いセルフパワードのUSBハブが2割引きされてたので買った amazon.co.jp/dp/B081H153FY
1
5
105
34,208
ちな、ハーネスは、ほかの方が言っている通り、最新のDSH v0.2.1-rc.2をビルドして使うのが良いですが、脆弱性Highが 5件 くらい検出されるので、そのあたりは修正してから使うのがおすすめ。（DependencyBotsが検知してるのと、Opusにも一応チェックさせた 私の方でPR出したかったんだけど、llama cppバックエンドとの連結までまとめてやっちゃったんでPRだせん。
Hodachi | LLM & AI Engineer
@hokazuyaOct 18
ローカルLLMで本気で実用性出てきたな。DSHをMacstudioで動くようにして、 TailScaleで外出先でもiPhoneから接続できるようにしたからかなり体験良き 無劣化v4.1を200k動かせてる。 MacStudio → RTX 6000 pro → GB 10 ✖️ 2 の構成で、SSD、GPU、CPU、DRAMに分散 発熱、高負荷を下げていずれもファンがうるさい状態を避けられてる ハーネスが動くMacStudioから、各端末も見えるから、TailScaleのセキュリティと各所の権限だけゼロトラに近づけて、さらに「生活環境の確保」も実現中 電気代はGPU暖房による節約(ぉ
9
1
34
4,404
DeepSeek-V4.1-Flash-1017に手を出すの今のところめんどくさいなと思っているのがまさにここで、DSHで性能伸びる反面 ほかのハーネスを使っている人の評判がイマイチよくないところ。 モデル性能の安定した向上とピーキーな向上では後者にあたる（ポストトレーニングだけで性能上げたといっているので当然）。 社内用にコードレビュー専用の制限付きハーネスを自作していたりするとこういう性質のアプデが来た際の再評価がそれなりに手間
Paweł Huryn
@PawelHurynOct 18
Turns out DeepSeek harness improves the score of DeepSeek V4.1 Flash by 2-3 points on average. It also costs 80% more due to subagents and more output tokens. New results: DeepSeek V4.1 Flash 1017 + Claude Code harness: - max, mean of 7: 39.1 - high, mean of 5: 36.4 - low, mean of 5: 34.4 DeepSeek V4.1 Flash 1017 + DeepSeek harness: - max, mean of 7: 42.7 - high, mean of 5: 39.2 - low, mean of 5: 34.8 For comparison: GPT-6 Astra, max: 45 Opus 5.5, max: 41.7 Muse Wonder Full 1.0, max: 42 It's a crazy model, and the only one catched cheating. All the results are available on the benchmark website.
2
2
11
4,011
Kei Nakazawa retweeted
Kenta IDA
@cinimlOct 17
stackchan-idf魔改造ハンズオンが必要か？ いやでも私にやらせたらClaude Codeいれて適当に指示しろしか言わんからな。(実際それでできるし)
タカヲ(Takao)
@mongonta555Oct 17
#ｽﾀｯｸﾁｬﾝ 組み立てハンズオンと、生成AIを使ってどうやって自分色に染めていくかのハンズオンどちらも必要になってきていると感じている今日この頃
1
2
12
1,008
「OpenAIの枠リセットは週区切り移動型だからAnthropicと違って偽リセットだ」と言ってる人のロジックもよくわからないんだよな 6日と22時間でリセットとかショボいことをやっていた時期ならまだしも、Pro 200の弱体化間際で2-3日ごとにグローバルリセットが入る現状だと ・Tiboのグローバルリセット直後に全力で作業を投げて15時間後ぐらいに週枠終了 ・bankedリセットを使って再度全力で作業を進めて20時間後ぐらいに8割がた利用済み状態にする ・codex-resets[dot]comの通知だけ気にしつつClaude中心で作業をして3日目ぐらいにグローバルリセットされたら最初に戻る でほぼ最高効率で使い切れる。ポイントはbankedリセットを惜しみなく使うこと。10/29以降まで保持しても実質枠半分のリセットに弱体化するので期日残っていても前倒しで重い作業にガンガン充てるのが得
3
814
Load more