soultoru (@soultoru) profile picture

小林達 ソフトウェアエンジニアだった気がする。

Iceland
Joined July 2010
Photo by soultoru (@soultoru)Photo by soultoru (@soultoru)Photo by soultoru (@soultoru)Photo by soultoru (@soultoru)Photo by soultoru (@soultoru)Photo by soultoru (@soultoru)Photo by soultoru (@soultoru)Photo by soultoru (@soultoru)Photo by soultoru (@soultoru)Photo by soultoru (@soultoru)
soultoru retweeted
speakerdeck.com/naoya/compre… 発表資料です 関数型プログラミングのカンファレンスでの発表ですが、競技プログラミングをやってる方もぜひ #fp_matsuri #fp_matsuri_b
53
5
298
46,268
実システムでSQL使う我々は関数型スキーマ定義みたいなのを真面目に検討するのが望ましい
89
そうか、GrphQL Codegenで生成される形のテーブルごとのIDに専用型つけられると嬉しいのか。
1
101
soultoru retweeted
これ面白い。なぜ、2000年代には巷で耳にした「UML」を現在では全く耳にしないのか?|pdfractal zenn.dev/pdfractal/articles/… #zenn
15
288
57
979
133,157
AIに巨大なプログラムを書かせているとき、本質的なのは「AIが1秒あたり何行書けるか」ではない。実際に効いてくるのは、コード量が増えるにつれて、開発オーバーヘッドがどうスケールするかである。 AIが素で単位時間あたり一定量aのコードを書けるとしても、実開発ではコンパイル、テスト、デバッグ、調査、影響範囲の確認といったオーバーヘッドが必ず乗る。問題は、そのオーバーヘッドがその時点tでのコード全体量C(t)に対してどう増えるかだ。 単純化すると、以下の二つのケースがある。 1. オーバーヘッドが C にほぼ比例するケース 2. オーバーヘッドが log C 程度に抑えられるケース コンパイル時間は、フルビルドだと1.に近い。 原因の切り分けが二分探索的に進められる種類のデバッグでは、2.に近い。 1.と2.のケースにおいてC(t)が時間tに対してどのように増加するか計算してみたのが添付図だ。 結論としては、 1.は、C(t)は√tに比例するので、コードを10倍にしようと思うと100倍の時間が必要。 2.は、C(t)はtに対してかなり直線に近い増え方をする。 である。 言うまでもなく1.と2.とは雲泥の差である。ソフトウェア工学のかなりの部分は、1.の世界をいかに2.に近づけるかという試みだったとも言える。 コードを書くときの認知的・構造的オーバーヘッドも、放っておけば前者に寄りやすい。しかし、モジュール分割、関数分割、クラス分割、依存の局所化、テスト単位の分離をきちんと行えば、そのコストを後者に近づけられる。そうなるようにプログラミング言語やモジュール機構、テスト手法、設計原則は発展してきたわけであり、マイクロサービスやクリーンアーキテクチャも、その文脈で理解できる。 AI時代になると、この問題はむしろ先鋭化する。AIはコードそのものを書く速度が高いぶん、設計や検証のオーバーヘッドの悪さが、以前よりはっきり露呈するからだ。 設計が悪く、影響範囲が広く、テスト単位が粗く、どこが壊れたのかを絞れない構造になっていると、1.に近づく。すると、せっかくの生成速度がオーバーヘッドに食われる。 だから、今後AIで巨大なプログラムを開発するエンジニアに強く求められるのは、単にプロンプトがうまいことではない。 システムを分割し、影響範囲を閉じ込め、検証単位を細かく設計して、開発全体のスケーリング則そのものを改善する能力だと思う。
17
381
55
1,766
348,246
某taxサイト、ブラウザ言語設定が日本語以外のだと動作しないとか罠すぎる。
35
バックプロパゲーションを発明した本人が、それを超える学習法を提案しています。 Geoffrey Hintonが2022年に発表した「Forward-Forward Algorithm(FF)」は、ニューラルネットワーク学習の根本的な見直しを迫る論文です。2024年にノーベル物理学賞を受賞したHintonですが、その前から次世代アルゴリズムの研究を進めていました。 ■ なぜバックプロパゲーションを見直すのか バックプロパゲーションは深層学習の成功を支えてきた技術ですが、Hintonは以前から生物学的な妥当性に疑問を持っていました。主な問題点は3つあります: ・重み輸送問題:逆伝播には順方向と完全に対称な結合が必要ですが、実際の脳にはそのような構造が存在しません ・活動値の保持:逆伝播を行うには、すべての層の活動状態を保持しておく必要があり、メモリ効率が悪い上に生物学的にも不自然です ・グローバル誤差信号:最終出力の誤差を各ニューロンに伝える仕組みは、脳では実現が困難です ■ Forward-Forward Algorithmの仕組み FFは逆伝播を完全に排除し、2つの順伝播パスだけで学習を行います: ・正パス(Positive Pass):実データを入力し、各層の「良さ(Goodness)」を高めるように学習します。良さとは各層の活動ベクトルのノルム(二乗和)で定義されます ・負パス(Negative Pass):人工的に生成した負例データを入力し、各層の良さを下げるように学習します 重要なのは、各層が独立した目的関数を持ち、ローカルな情報だけで学習が進行する点です。隣接する層との情報交換は必要ですが、ネットワーク全体を通じた誤差信号は不要になります。 ■ 負例データの生成方法 論文ではいくつかの負例生成手法が検討されています。たとえば画像分類では、画像の端に誤ったラベル情報を埋め込んだものを負例として使用します。正しいラベルが埋め込まれた画像では良さを高め、誤ったラベルの画像では良さを下げることで、ネットワークはラベルと画像の整合性を判断できるようになります。 ■ 実用面での可能性と展望 FFの真価は、従来のGPUベースの学習を超えた応用可能性にあります。逆伝播が不要なため、低消費電力のアナログハードウェアでの実行が可能になります。エッジデバイスでのオンデバイス学習や、ニューロモーフィックチップとの親和性が高く、脳型コンピューティングへの橋渡しとなる可能性があります。 現時点ではMNISTやCIFAR-10といった小規模ベンチマークでの検証段階ですが、学習アルゴリズムの根本を問い直す重要な一歩といえるでしょう。 興味深いことに、正パスと負パスで学習を分離する考え方は、金子勇氏が提案したED法(誤差拡散法)の正負サブレイヤーと構造的に類似しています。
4
189
24
1,235
187,910
餅つきをするケンタウロスのイラスト(干支) irasutoya.com/2025/12/centau…
38
4,780
286
14,446
729,653
知財検討会にまで及ぶAI規制の混迷──処遇AIと生成AIを混ぜると、全部壊れる
日記を書いたよ。 takagi-hiromitsu.jp/diary/20… 知財検討会にまで及ぶAI規制の混迷──処遇AIと生成AIを混ぜると、全部壊れる - 高木浩光@自宅の日記(2025年12月16日) 「関係者の皆さんには読んでほしい。方向付けさえすれば自然にここまで言われてしまうという事態の深刻さを受け止めてほしい。」
222
14
379
79,141
soultoru retweeted
そう思う。そしてこれは設計書に限らない 開発の進め方、テストの仕方、どんな技術を採用するか、どんなモデルにするか。目の前にあることに対して自分たちが採ろうとしているアプローチでちゃんと良い結果に繋がりそうか。それを自ら判断して、都度最適な方向に舵を切る teapawt.net/sugimoto_kei/status/19…
ソフトウェアに設計書がいるのか、いるとすればどんな設計書がいるのかなんて、ソフトウェアの出現以来、決着していないテーマなんですよ。そん問題に、目の前のプロジェクトで自分が決着をつけることができるという考えが、そもそもゴーマンなんです。 そうじゃなくて、目の前で作っているソフトウェアやそのコードをよく見て、ここは何か書かないと危ういな、ここは大丈夫だろうと判断していく。それが分別というものです。 足りないのは、設計書の定義ではなく我々の良識。
1
31
1
247
38,523
ゴーーール!2時間切れた!
2
43
初めてのハーフマラソン
2
50
鈴鹿の夜明け
40
世の中には酔っ払わないと判断できないこともある。特に買い物。
33