メーカーで研究職をしています 最近は生成AIと米国経済に興味があります Zennで主に生成AI関連のブログを書いてます https://xitter.cf/t.co/M53RQTx7px GitHub:https://xitter.cf/t.co/gznBbTZSui

Joined July 2024
VLM(ローカルVLM含む)を用いて、画像や絵文字などから16x16のピクセルアートを作る「ai-pixel-art-converter」をGitHubで公開しました! github.com/robustonian/ai-pi… MITライセンスで公開しているので、自由に改造して使ってください
#ローカルAIに向き合う展示会 にて下記の2つを展示しました! ①「スタックチャン・ニワトリシステム」 ニワトリのように同じ方向を見続ける姿勢安定化モードをIMUのみで実現していた話。カメラは使っていません ②「ai-pixel-art-converter」:画像や絵文字から16x16のピクセルアートをVLMに描いてもらうアプリ 画像生成モデルは使用しておらず、各VLMモデルの画像理解・表現能力を視覚的に比較できます これは簡単そうなタスクに見えますが、実はとても難しいタスクとなっていて、フロンティアモデルとローカルVLMを比較するとまだ明らかに性能差があることが解ると思います
3
12
2
119
102,197
ちなみにローカル DeepSeek-V4.1-Flash-1017 の具体的に何がいいかというと、 ①真の意味でなんでも入力して良いので心理的安全性が極めて高い ②クラウドAPIは高いので使いすぎるとキレられるが、こちらはローカルなので無限に使える安心感 →特に仕事終わる前に安心して重いタスク投げられるのも素晴らしい(クラウドAPIだと利用料が気になるからタスク終わってからしか帰れないことが多い) ③空いているときはクラウドAPIより速い →ただし、並列数が増えると流石にローカルLLMの方が遅くなる。あと初期投資はもちろん必要 あと、1,2世代前のフロンティアモデル程度には賢いので性能的にはほぼ不満がない
実務でローカルの DeepSeek-V4.1-Flash-1017 を使い始めたけど、めちゃくちゃ快適だな
1
8
141
9,628
夢のように書いてますが、まあ初期投資にめちゃくちゃコストがかかるんですけどね
5
1,075
実務でローカルの DeepSeek-V4.1-Flash-1017 を使い始めたけど、めちゃくちゃ快適だな
1
1
1
67
13,326
Tailscale 使ってる人は一度確認した方がいいと思います。デフォルトでオフになっているので
Tailscaleの脆弱性対策について、 Tailnet Lockをトグルオンにする方法がわからず少し苦労したので、備忘録として手順を以下にまとめておく ① login.tailscale.com/admin/se… にアクセス ② Enable Tailnet Lock をクリック ③ Add signing node から、署名を行う端末を2台以上選択。迷ったら、普段よく使う端末を選べば良い ④ 画面に表示される tailscale lock init コマンドをコピー ⑤ 署名を行うPCでTerminalを開き、④でコピーしたコマンドを実行する ※ 私のUbuntu環境ではその前に 「sudo tailscale set --operator=$USER」 を実行する必要があった ⑥ 発行された Disablement secrets(無効化用の復旧シークレット) を安全な場所に保存する 以上
1
22
2
186
23,702
Tailscaleの脆弱性対策について、 Tailnet Lockをトグルオンにする方法がわからず少し苦労したので、備忘録として手順を以下にまとめておく ① login.tailscale.com/admin/se… にアクセス ② Enable Tailnet Lock をクリック ③ Add signing node から、署名を行う端末を2台以上選択。迷ったら、普段よく使う端末を選べば良い ④ 画面に表示される tailscale lock init コマンドをコピー ⑤ 署名を行うPCでTerminalを開き、④でコピーしたコマンドを実行する ※ 私のUbuntu環境ではその前に 「sudo tailscale set --operator=$USER」 を実行する必要があった ⑥ 発行された Disablement secrets(無効化用の復旧シークレット) を安全な場所に保存する 以上
『Tailscale脆弱性対策について』 これはまだパッチがあたっていないのに脆弱性が拡散されている可能性があり、何らかの対策を講じなければならない。 今の状況で効く順に挙げると、次の5つです。 1.Macを最新版に上げる: 2.Tailnet Lockをオンにする: tailnetに新しい端末を加えるには、信頼済みの端末の署名が要るようになる。今回の研究で「不正な端末の追加」が実演されたのは、まさにTailnet Lockがオフの状態だったので、いちばん効く対策と言える。 3.ACLでメンバーどうしの全ポート許可をやめる: 端末同士が、全ポートで通じている状況ではリスクが高いため、機能を使う分だけに絞る。 4.鍵に期限をつける: 5.Tailscale SSHとApp Connectorは使わないままにする: これらを組み合わせることが有効そう。 まずはTailnet Lockをトグルオンとし、Macを最瓶版に上げるのは最低でもやっておくべきか。
3
83
11
458
51,983
気になっている人が多いようなので 「DeepSeek V4.1-Flash-1017 は DeepSeek 公式API を使うべし!」という言説の真偽を確認するため、ベンチマーク評価中... 従量課金なので身銭切ってます😇 量子化による影響評価という観点では ローカルLLM でも確認したいところ
ただ実はいうと、DeepSeek V4.1-Flash-1017 は手元のTerminal-Bench 4.0 の結果ではアップデートされる前の DeepSeek V4.1-Flash に負けているのだ...!! ハーネスが違うのが原因かと思って、DSHとopencode両方で検証したが、結果を見るとどうもモデル側に原因がありそうということがわかった 正直私も DeepSeek V4.1-Flash-1017 はもっと高みを目指せると信じたいので、DeepSeek 公式のAPIを使って追試しようと考えている 従量課金のAPIを使うことから数十ドルはかかるベンチマーク評価になると思うので、結果によってはサブスク限定で共有することになるかも(意訳:ご支援いただけると嬉しいです)
5
4
3
64
5,990
RTX 4090のAI性能が2倍になって5090に下剋上する驚き仕草 今どきBF16モデル使う? VRAM容量の都合で画像や動画生成はInt8_ConvRotが主流だし、LLMは2~4bit量子化相当が主流(StrataやMayaがそう)だし、役に立つような立たないような微妙な感じ VRAMの帯域幅が2倍になるアンロックなら神だった
16
50
8
480
83,668
なんと、新しく出た Nanbeige4.3-33B は Termina-Bench 4.0 で 23.8 も取れているらしい!これは Opus 4.8 と同程度の性能を有していることを意味する にわかには信じがたいが、とりあえず量子化モデルが出たら検証したい。もしこれが真実なら比較的小型のローカルLLMが壁をまた一つ壊したことになる
Nanbeige 4.3 (33B Dense)というモデルがリリースされたんだけど、強くね?と思ってベンチマークのデータ集めたら強すぎて横転した 1枚のGPUにギリ収まるこのサイズ感も、どんどん賢くなっていくんやなぁ。ローカルLLMの未来は明るい!!
2
11
96
6,375
Terminal-Bench 4.0 で同程度のスコアを持つモデルとの比較はこちらを参照されたい xitter.cf/gosrum/status/21142733…
DeepSeek V4.1 Flash-1017 + DSH の Terminal-Bench 4.0 の評価が完了したので共有する ※ついでに、GLM-5.3, GLM-5.3-Flash (high) 等も追加 ●メモ ・性能的には GLM-5.3 > Haiku-5.5 ≒ GLM-5.3-Flash ≒ DeepSeek V4.1 Flash-1017 >Opus 4.8 ・ただし、コストは圧倒的に DeepSeek V4.1 Flash-1017 に安い ・reasoning effort はコスパ重視なら high 推奨。時間やコスト増を気にしないならmaxでも OK ・ハーネスとしては DSH でも opencode でも優位な性能差はなさそうだが、DSHの方が少しコストが高い ●結論 ・DeepSeek V4.1 Flash-1017 は現在のフロンティア級の性能はないものの、1,2世代前のフロンティア級の性能を持ちながら超低コストを実現している ・サブスクの課金額が気になる人は opencode go の$10プラン等に契約してこのモデルを使うと幸せになれそう ・さらにStrata等での最適化も進んでおり、クラウドに依存しなくてもローカルLLMで大半のタスクをこなせる世界観が現実味を帯びてきたといえよう
4
1,225
ただ実はいうと、DeepSeek V4.1-Flash-1017 は手元のTerminal-Bench 4.0 の結果ではアップデートされる前の DeepSeek V4.1-Flash に負けているのだ...!! ハーネスが違うのが原因かと思って、DSHとopencode両方で検証したが、結果を見るとどうもモデル側に原因がありそうということがわかった 正直私も DeepSeek V4.1-Flash-1017 はもっと高みを目指せると信じたいので、DeepSeek 公式のAPIを使って追試しようと考えている 従量課金のAPIを使うことから数十ドルはかかるベンチマーク評価になると思うので、結果によってはサブスク限定で共有することになるかも(意訳:ご支援いただけると嬉しいです)
opencode で提供されている DeepSeek-V4.1-Flash-1017 は量子化により劣化しているのでは?という言説がTLで流れてきたけど、彼らは公式でリリースされているモデルは最初からほぼ MXFP4(EngramはFP8) で構成されているという事実を知らないのかな 本当にDeepSeek 公式APIと挙動が異なるなら、DeepSeek公式だけが量子化していないバージョンを持っている可能性もあるけど、API料金が同じ(オフピークはむしろ公式のほうが安い)ことを考えるとおそらく同じなのではないかと推定できる ちなみにAnomalyの共同創業者でありopencodeを開発しているDax氏は、 opencode では公式の提供しているのと同じモデルを展開していると述べている
11
11
2
100
23,597
opencode で提供されている DeepSeek-V4.1-Flash-1017 は量子化により劣化しているのでは?という言説がTLで流れてきたけど、彼らは公式でリリースされているモデルは最初からほぼ MXFP4(EngramはFP8) で構成されているという事実を知らないのかな 本当にDeepSeek 公式APIと挙動が異なるなら、DeepSeek公式だけが量子化していないバージョンを持っている可能性もあるけど、API料金が同じ(オフピークはむしろ公式のほうが安い)ことを考えるとおそらく同じなのではないかと推定できる ちなみにAnomalyの共同創業者でありopencodeを開発しているDax氏は、 opencode では公式の提供しているのと同じモデルを展開していると述べている
Replying to @pebblewasright
any time we offer a model it's the exact same deployment as the official lab who made it the worst we do is serve at lower TPS to handle more volume but it is the same model, if we chop it up we release it under a different name
5
14
5
125
28,516
DeepSeek V4.1 Flash-1017 + DSH の Terminal-Bench 4.0 の評価が完了したので共有する ※ついでに、GLM-5.3, GLM-5.3-Flash (high) 等も追加 ●メモ ・性能的には GLM-5.3 > Haiku-5.5 ≒ GLM-5.3-Flash ≒ DeepSeek V4.1 Flash-1017 >Opus 4.8 ・ただし、コストは圧倒的に DeepSeek V4.1 Flash-1017 に安い ・reasoning effort はコスパ重視なら high 推奨。時間やコスト増を気にしないならmaxでも OK ・ハーネスとしては DSH でも opencode でも優位な性能差はなさそうだが、DSHの方が少しコストが高い ●結論 ・DeepSeek V4.1 Flash-1017 は現在のフロンティア級の性能はないものの、1,2世代前のフロンティア級の性能を持ちながら超低コストを実現している ・サブスクの課金額が気になる人は opencode go の$10プラン等に契約してこのモデルを使うと幸せになれそう ・さらにStrata等での最適化も進んでおり、クラウドに依存しなくてもローカルLLMで大半のタスクをこなせる世界観が現実味を帯びてきたといえよう
早速 opencode go 版の方で DeepSeek V4.1 Flash-1017を Terminal-Bench-4.0 で評価するぞ! 果たして GLM-5.3 を超えているという話は本当なのか?
7
39
5
303
33,767
ちなみに、今回追加したモデルを全部評価するのに1週間ほどかかりました😇
1
10
2,326
ちなみにグラフ見てお気づきの人もいると思いますが Museの無課金プランで使われていると噂の 「Muse Spark 1.3」 は実はあまり性能が高くないです。ここも今後の性能向上に期待ですね
DeepSeek V4.1 Flash-1017 + DSH の Terminal-Bench 4.0 の評価が完了したので共有する ※ついでに、GLM-5.3, GLM-5.3-Flash (high) 等も追加 ●メモ ・性能的には GLM-5.3 > Haiku-5.5 ≒ GLM-5.3-Flash ≒ DeepSeek V4.1 Flash-1017 >Opus 4.8 ・ただし、コストは圧倒的に DeepSeek V4.1 Flash-1017 に安い ・reasoning effort はコスパ重視なら high 推奨。時間やコスト増を気にしないならmaxでも OK ・ハーネスとしては DSH でも opencode でも優位な性能差はなさそうだが、DSHの方が少しコストが高い ●結論 ・DeepSeek V4.1 Flash-1017 は現在のフロンティア級の性能はないものの、1,2世代前のフロンティア級の性能を持ちながら超低コストを実現している ・サブスクの課金額が気になる人は opencode go の$10プラン等に契約してこのモデルを使うと幸せになれそう ・さらにStrata等での最適化も進んでおり、クラウドに依存しなくてもローカルLLMで大半のタスクをこなせる世界観が現実味を帯びてきたといえよう
2
1
38
4,348
理由書き忘れてたけど、grok-4.7よりもopencode goのDeepSeek-V4.1-Flashのほうが性能高くてかつコストが圧倒的に安いため。Grok Bot はとりあえずMuseで代用する
Cursor Pro プランは一旦キャンセル。さすがに引き留めの半額クーポン2回目はもらえなかった X Premium と統合するかは今後検討する
39
3,436
金のニワトリ retweeted
Day 20/ Rest and reset
1,234
471
645
11,779
1,614,820
Cursor Pro プランは一旦キャンセル。さすがに引き留めの半額クーポン2回目はもらえなかった X Premium と統合するかは今後検討する
1
2
1
26
5,817
Cursor のサブスクをキャンセルしようとしたら 50% オフの割引券がもらえたので、もう一ヶ月だけ継続することにした
1,047