dudebot

ローカルLLM(GGUF)の中から「性格や話し方を変えるニューロン」を探して、試して、持ち出せるツールを作りました🧠 リポジトリはリプに貼ってます。 元ネタは @_lyraaaa_ 氏の neuron-explorer です。 面白いものを本当にありがとうございます！ Qwen3.5-4B のニューロンを 1 個ずつ押して、何が起きるかを調べる研究ツールです。これを llama.cpp の上で動くように作り直し、手元の GGUF で使えるように汎用化しています(元のコードは使っていません)。 ■ できること ① 探す ・重みを読むだけで、各ニューロンがどんな単語を押し上げるかを一覧できる ・ニューロンを押したとき、次の単語の確率がどう変わるかを測れる ・実際に押して文章を書かせ、ランダムな方向を押した場合と比べて「偶然じゃない変化」を見分けられる ・「悪役 vs 普通」のように目的が決まっていれば、その差から逆引きして全層の候補をランキングできる ② 試す ・複数のニューロンを組み合わせたレシピを作り、同じ質問に「逆に押す/押さない/押す」の 3 列で答えさせて比較できる ・押す強さは「その層の普段の信号の大きさの何倍か」で揃えているので、層が違ってもほぼ同じ感覚で調整できる ③ 持ち出す ・レシピを llama.cpp の control vector として書き出せば、llama-cli や llama-server でそのまま使える ・Llama 系などのモデルなら、レシピを焼き込んだ GGUF も作れる ④ 見る ・全層・全ニューロンを点で描く 3D マップ付き(Web UI、日本語/英語) ・点の色を「押したときの効き目」「狙った方向との近さ」「入力した文章で光った量」などに切り替えられる ・どのニューロンがどのニューロンを押すか、つながりを線で追える ⑤ AI に任せる ・MCP サーバを付けたので、Claude Code などのエージェントに探索からレシピ作成まで任せられる。見つけた候補は Web UI 上で強調・メモして見せてくれる ■ 注意点 ・性格や話題を寄せるだけで、モデルが賢くなるわけではない。強く押すほど文章は崩れる ・Qwen 系・Gemma 系は llama.cpp の仕様上、焼き込みはできない(control vector で押すことはできる) ・MoE モデルは今のところ対象外(できるところまで対応予定。まずは専門家ごとのニューロンを探して押すところから) ・動作確認は Qwen3 / Qwen3.5 / SmolLM2(RTX 3080)。初めてのモデルでは最初に gne verify で確かめるのがおすすめ