soultoru retweeted
speakerdeck.com/naoya/compre…
発表資料です
関数型プログラミングのカンファレンスでの発表ですが、競技プログラミングをやってる方もぜひ
#fp_matsuri #fp_matsuri_b
soultoru retweeted
AIに巨大なプログラムを書かせているとき、本質的なのは「AIが1秒あたり何行書けるか」ではない。実際に効いてくるのは、コード量が増えるにつれて、開発オーバーヘッドがどうスケールするかである。
AIが素で単位時間あたり一定量aのコードを書けるとしても、実開発ではコンパイル、テスト、デバッグ、調査、影響範囲の確認といったオーバーヘッドが必ず乗る。問題は、そのオーバーヘッドがその時点tでのコード全体量C(t)に対してどう増えるかだ。
単純化すると、以下の二つのケースがある。
1. オーバーヘッドが C にほぼ比例するケース
2. オーバーヘッドが log C 程度に抑えられるケース
コンパイル時間は、フルビルドだと1.に近い。
原因の切り分けが二分探索的に進められる種類のデバッグでは、2.に近い。
1.と2.のケースにおいてC(t)が時間tに対してどのように増加するか計算してみたのが添付図だ。
結論としては、
1.は、C(t)は√tに比例するので、コードを10倍にしようと思うと100倍の時間が必要。
2.は、C(t)はtに対してかなり直線に近い増え方をする。
である。
言うまでもなく1.と2.とは雲泥の差である。ソフトウェア工学のかなりの部分は、1.の世界をいかに2.に近づけるかという試みだったとも言える。
コードを書くときの認知的・構造的オーバーヘッドも、放っておけば前者に寄りやすい。しかし、モジュール分割、関数分割、クラス分割、依存の局所化、テスト単位の分離をきちんと行えば、そのコストを後者に近づけられる。そうなるようにプログラミング言語やモジュール機構、テスト手法、設計原則は発展してきたわけであり、マイクロサービスやクリーンアーキテクチャも、その文脈で理解できる。
AI時代になると、この問題はむしろ先鋭化する。AIはコードそのものを書く速度が高いぶん、設計や検証のオーバーヘッドの悪さが、以前よりはっきり露呈するからだ。
設計が悪く、影響範囲が広く、テスト単位が粗く、どこが壊れたのかを絞れない構造になっていると、1.に近づく。すると、せっかくの生成速度がオーバーヘッドに食われる。
だから、今後AIで巨大なプログラムを開発するエンジニアに強く求められるのは、単にプロンプトがうまいことではない。
システムを分割し、影響範囲を閉じ込め、検証単位を細かく設計して、開発全体のスケーリング則そのものを改善する能力だと思う。
soultoru retweeted
バックプロパゲーションを発明した本人が、それを超える学習法を提案しています。
Geoffrey Hintonが2022年に発表した「Forward-Forward Algorithm(FF)」は、ニューラルネットワーク学習の根本的な見直しを迫る論文です。2024年にノーベル物理学賞を受賞したHintonですが、その前から次世代アルゴリズムの研究を進めていました。
■ なぜバックプロパゲーションを見直すのか
バックプロパゲーションは深層学習の成功を支えてきた技術ですが、Hintonは以前から生物学的な妥当性に疑問を持っていました。主な問題点は3つあります:
・重み輸送問題:逆伝播には順方向と完全に対称な結合が必要ですが、実際の脳にはそのような構造が存在しません
・活動値の保持:逆伝播を行うには、すべての層の活動状態を保持しておく必要があり、メモリ効率が悪い上に生物学的にも不自然です
・グローバル誤差信号:最終出力の誤差を各ニューロンに伝える仕組みは、脳では実現が困難です
■ Forward-Forward Algorithmの仕組み
FFは逆伝播を完全に排除し、2つの順伝播パスだけで学習を行います:
・正パス(Positive Pass):実データを入力し、各層の「良さ(Goodness)」を高めるように学習します。良さとは各層の活動ベクトルのノルム(二乗和)で定義されます
・負パス(Negative Pass):人工的に生成した負例データを入力し、各層の良さを下げるように学習します
重要なのは、各層が独立した目的関数を持ち、ローカルな情報だけで学習が進行する点です。隣接する層との情報交換は必要ですが、ネットワーク全体を通じた誤差信号は不要になります。
■ 負例データの生成方法
論文ではいくつかの負例生成手法が検討されています。たとえば画像分類では、画像の端に誤ったラベル情報を埋め込んだものを負例として使用します。正しいラベルが埋め込まれた画像では良さを高め、誤ったラベルの画像では良さを下げることで、ネットワークはラベルと画像の整合性を判断できるようになります。
■ 実用面での可能性と展望
FFの真価は、従来のGPUベースの学習を超えた応用可能性にあります。逆伝播が不要なため、低消費電力のアナログハードウェアでの実行が可能になります。エッジデバイスでのオンデバイス学習や、ニューロモーフィックチップとの親和性が高く、脳型コンピューティングへの橋渡しとなる可能性があります。
現時点ではMNISTやCIFAR-10といった小規模ベンチマークでの検証段階ですが、学習アルゴリズムの根本を問い直す重要な一歩といえるでしょう。
興味深いことに、正パスと負パスで学習を分離する考え方は、金子勇氏が提案したED法(誤差拡散法)の正負サブレイヤーと構造的に類似しています。
soultoru retweeted
今月は「論理削除は悪」みたいなコメントを多く見かけたけど、じゃあどうすべきか、どういう考察要素があるのか、にまで言及している人はほぼいなかった。それくらい危ないお題だけに、カッコイィ記事よね
syu-m-5151.hatenablog.com/en…
soultoru retweeted
餅つきをするケンタウロスのイラスト(干支)
irasutoya.com/2025/12/centau…
soultoru retweeted
知財検討会にまで及ぶAI規制の混迷──処遇AIと生成AIを混ぜると、全部壊れる
日記を書いたよ。
takagi-hiromitsu.jp/diary/20…
知財検討会にまで及ぶAI規制の混迷──処遇AIと生成AIを混ぜると、全部壊れる - 高木浩光@自宅の日記(2025年12月16日)
「関係者の皆さんには読んでほしい。方向付けさえすれば自然にここまで言われてしまうという事態の深刻さを受け止めてほしい。」
soultoru retweeted
そう思う。そしてこれは設計書に限らない
開発の進め方、テストの仕方、どんな技術を採用するか、どんなモデルにするか。目の前にあることに対して自分たちが採ろうとしているアプローチでちゃんと良い結果に繋がりそうか。それを自ら判断して、都度最適な方向に舵を切る
teapawt.net/sugimoto_kei/status/19…
soultoru retweeted
Replying to @soudai1025
なんか見覚えあるな、このブサイクな象たち…って思ったら自分のスライドだった!お褒めに預かり光栄です🙈
ちなみに先日発見したこちらのブログは、プランナに関しての部分で私の言いたかったことがキレイにまとまって載っていてオススメです!
sraoss.co.jp/tech-blog/pgsql…
soultoru retweeted
KB5063878のバグで判明している事_(:3」∠)_
1.ストレージのキャッシュ周りのバグのようだ
2.OSが一時的にドライブを見失う(再起動で復旧)
3.一度発生すると再現率100%
4.一部の大容量ファイルも見えなくなる(消えているかは現段階で判別不可)ので、ファイルアロケーションにも問題発生している恐れあり
5.ロールバックでとりあえず回復できる模様
6.一部のNANDコントローラーチップに影響している可能性あり
soultoru retweeted
速さや並列性に脚光が当たりがちなAgentic Codingだけど、ソフトウェア設計の議論を「納得いくまで食い下がれる」「決まったことを蒸し返せる」のも利点と考えている。根負けしない相手と、例えば命名について妥協せず数日議論できる。議論しているうちに私の方にブレイクスルーが生まれることもある。
soultoru retweeted
登壇報告です。各位、Lean を手に取り孤独に示せ。矛盾を導かず、求める仮定は少なく、林の中の象のように。 #fp_matsuri
関数型まつり 2025 で AWS と定理証明について話してきました - チェシャ猫の消滅定理 ccvanishing.hateblo.jp/entry…
soultoru retweeted
本日の登壇資料です。#fp_matsuri #fp_matsuri_a
AWS という巨大システムの認可基盤に対して、実は Lean が結構ガッツリ使われてるんだぜ、という話を論文 + 実装ベースで解説します。
AWS と定理証明 〜ポリシー言語 Cedar 開発の舞台裏〜 speakerdeck.com/ytaka23/fp-m…
soultoru retweeted
speakerdeck.com/naoya/guan-s…
本日の発表資料です。会場後方から文字が小さくて見えないかもしれないので先にアップロードしておきます
#fp_matsuri #fp_matsuri_a
soultoru retweeted
「科研費基金化による繰越可能化は学術会議の功績」という嘘松ポストを見かけたけど、科研費基金化は自分と若手研究者同志たちと大臣官房周辺の若手文科官僚の方々とで協力して成し遂げた行政施策であり、学術会議は当時批判的かつ非協力的だった(例のブログ記事改変要求が会長から来た頃の話)
soultoru retweeted
本日の発表内容ですぞ ホールAでボクと握手
#fp_matsuri
nymphium.github.io/pdf/fp_ma…
soultoru retweeted
#fp_matsuri
今日の発表資料です!
Effect の双対、Coeffect speakerdeck.com/yukikurage/e…
soultoru retweeted
関数型まつりの登壇資料を公開しました!
「ドメインモデリングにおける抽象の役割、tagless-finalによるDSL構築、そして型安全な最適化」
speakerdeck.com/knih/reifica…
ご参加いただき方々ありがとうございます!
ご質問・フィードバック大歓迎です
#fp_matsuri #fp_matsuri_c #tagless





























