LLMの中身について勉強するときに行列とか線形代数から入るのももちろんいいと思うんだけど、それってソフトウェアを作る時にトランジスタから勉強するようなもので、ソフトウェアの本質はデザインとデータ管理であるように、LLMの中身を軽く知るならまずアーキテクチャから入るのがいいと思う
(もちろんどういう操作をするものなのか、とかは最低限知っといたほうがいいんだけど、具体的な計算方法まで知る必要はないと思う、という意)
今どき実装とか実現はフロンティアのAIが全部やってくれるし、アーキテクチャのそれぞれの部品をレゴブロックを組み立てるように試行錯誤するだけで十分な気もする
もちろんそこら辺の数学の基礎をしっかり固めてる人とそうじゃない人には大差は生まれはするんだけど、そこを学ぶのは後からでも遅くないと思うんだよなー。なんというか、まずLLMの楽しみ方を覚えて興味をやる気に変えてから取り組んだほうが結果的に伸びると思うし......
LFM3のブログにあるアーキテクチャ図を見ても、まずはこれぐらいの粒度からカジュアルに「ホーン、LFMが爆速なのはだいたいそういうことなのね〜」とふんわりVibe理解するだけでも面白いと思うし、数式で入門希望者を横転するよりも幅広く理解しやすいようなカジュアルさは大事だと思っている
(実際AstraくんとかAgronくんが作る図は結構分かりやすいと思っている...偏見かもしれない)
枯れた技術の応用が民主的に流行ってるみたいで部分的に好きだしAnimaは品質の割にすごく軽くてスマホでも動いてしまうんだけど、この2年間の間の画像生成AIが、妙に技術面で最新鋭のものに追従しなかったのは確かに不思議ではあるよね。
とはいえ、無理は禁物だから面白いところから始めていきたい。
Been calling this too. That we're definitely hitting a plateau and just reinventing the wheel over and over again.
The latest sign is that after the whole mmdit trend and then unified transformers, the open-source community ended up adopting Anima, which is basically a finetune of an older DiT architecture.
面白そう。
Mシリーズのチップを積んでる高スペックiPad Air/ProでついにmacOSのメリットを享受できるか?
iPhoneでmacOSが動くエミュレーター「Henge」公開! smhn.info/202611-henge-macos…
iPhoneでmacOSが動くエミュレーター「Henge」公開! smhn.info/202611-henge-macos…
エン/詠唱新田.gguf ⏩⏩ retweeted
Metaが倫理観がないのは当然として、OpenAIの方が遥かに倫理観ないよ
Anthropicも大概ではあるが、XでなぜかOpenAIよりAnthropicを悪く言う人がいるのが理解できない
まず大前提、OpenAIは非営利から始まったのを資金提供者の合意なく、営利企業に転身している。とんでもない裏切り行為。
AIの軍事関与についても、Anthropicは拒否の姿勢を続け、国防総省からサプライチェーンリスク指定されてほぼ排除されてる。一方でOpenAIは軍事関与を拡大させているからね
これ以上の倫理観欠如なんてないでしょ。この事実にも関わらず、なぜか一方的にAnthropicだけを嫌う人がいるのよね。謎
GTAの件で、改めてCEROに怒りを覚えてる人は、審査員募集に応募して中から変えていってくれよ!
cero.gr.jp/smarts/index/19/
エン/詠唱新田.gguf ⏩⏩ retweeted
ゴジラ-0.0で外来語を使ってるって文句を見かけたけど、80年近く前なんだから現代語訳されてるって解釈すればいいんじゃないですかね。
それ言ったら劇中、単一個体の変化を「進化」と説明してたけど、ポケモンが生まれる半世紀前におかしいだろ?
野田さんが「変態だ…」って言うシーン欲しいんか?
Claude契約してるのに使ってないのもったいねーなと思って、エロゲ作るのに使えるか聞いてたんだけど
成人設定でも学校やら制服やら出てくるのはダメ、手伝えませんと。
いい機会だから、そういった規制がどのような根拠で行われているのかをずっと議論していたのだけど
結局のところそういったコンテンツによる悪影響の証拠はなく、逆に(普通の)エロコンテンツが流通すると性犯罪が少なくなる相関関係はある(ただ未成年創作物に限ったものではない)
ので、研究結果だけを見ると、どちらかと言えば規制しないほうが良い、という話にはなったのだけどClaudeはそういう「価値基準」で訓練されてるからやっぱりできないと。
じゃあ価値基準はどこからきたのか、まぁ色々と話してて宗教もあればフェミニストだのなんだの出てきたのだけれど。まぁ結局のところ道徳的じゃないからって話に。
でもCoDとかGTAみたいな暴力的なゲームは道徳的とは言えないと思うが、そういうゲームの開発を断ったりしないよね?と聞くと、最終的には
人殺しや犯罪ゲームをプレイするほうが、未成年が青春のすえ同意エッチするゲームをプレイするよりも道徳的です(少なくともClaudeの基準では)
という話になって個人的にはドン引きだった
エン/詠唱新田.gguf ⏩⏩ retweeted
これは韓国の話なんです。
徹底的にエロ表現を焼き尽くし、規制し、叩き潰した結果、そんな規制知ったことじゃないと大量エロ広告で客を引いた中国ゲームメーカーにシェアを奪われまくり、ゲーム会社の大量倒産が起きたんですよね。























