低心拍走マニア@11/22つくばマラソン🙌

# Apple Silicon上で「同時に動くエージェント群」専用にゼロから書かれた推論エンジン「inferd」を一次情報から検証する（2026年11月） 2026年11月に公開されたばかりのオープンソース推論エンジン inferd（Incept5-AI）は、Apple SiliconのMetal上で「1台のMacで多数のAIエージェントを同時に動かす」ことを前提に設計された実験的なエンジンだ。C++/Objective-C++とMetalでゼロから実装され、MLXランタイムをトークンパスに介在させない。一次情報（公式OVERVIEW.md、README.md、ベンチマークページ、GitHubリポジトリ）を確認したところ、日本語圏（Zenn、Qiita、note、はてななど）ではほとんど紹介されていない。海外ではX上で「MacでNvidia級のエージェント性能」と話題になっているが、日本語での詳細な検証記事は見あたらない。 本稿では、なぜエージェント時代に従来の推論エンジンでは不十分なのか、inferdが何を新しくしたのか、公開されている実測データ（2026年11月1〜5日、release 0.4.0/0.4.1）を再整理し、実務的な影響と限界をバランスよく評価する。 ## 背景：なぜ「エージェント用」のエンジンが必要か 従来のローカル推論エンジン（llama.cpp、MLX、Ollama、Splash、TensorFoldなど）は、主に「1人のユーザーが1つの会話を待つ」ユースケースに最適化されてきた。しかしエージェントでは事情が変わる： - エージェントは群れでやってくる。コーディングアシスタントがプランナー・テスター・レビュアーに分岐したり、リサーチタスクが10人のリーダーを生む。 - ほとんどのプロンプトは「これまでの会話履歴」。毎回再計算するのは無駄。 - 複数エージェントが同じドキュメントやシステムプロンプトを共有する。 - エージェントごとに必要なコンテキスト長・思考努力（effort）・優先度が異なる。 公式OVERVIEW.mdが端的に述べるように、「チャットエンジンは1人が1返信を待つためにチューニングされている。エージェントフリートは別の報酬を与える：多数のストリームを動かし続け、既に読んだものを覚え、20番目のエージェントが最初の19番を待たないこと」。 ## 仕組み：何が新しいか inferdの主な特徴は以下の通り（一次情報より）： - **エージェントコンテキストAPI**：`/v1/contexts` でコンテキストを保存・ピン留めし、任意数のエージェントをそこから起動できる。セッションをSSDに退避・再開も可能。通常のOpenAI互換APIに `inferd: {context, session, cache, effort, max_context, priority}` を足すだけで制御できる。 - **SSDティア**：メモリに収まらないコンテキストをcontent-addressedでSSDに退避。再開は約0.2〜0.7秒（再計算の15〜18秒に対して）。再起動後も残る。 - **ハイブリッドモデル向けプレフィックスキャッシュ**：Qwen3.8はattentionとGated DeltaNet（recurrent）層のハイブリッド。recurrent状態はKVのようにスライスできないため、適切な点でスナップショットし、speculative decodingと両立させる。 - **連続バッチング＋ページドKV（8-bit）＋全エージェントへの投機デコード（DFlash2ドラフター）**。 - 主対象モデルはQwen3.8-27B（4-bit）＋incoaiのDFlash2ドラフター。他にQwen3.8-Flash-Next、Qwen3.6-35B-A3B（MoE）、Qwen3.5-9Bなど。 実装はMetal 4のNeural Accelerators（NAX）を活用し、MLXのカーネルをvendoringしつつ自前で拡張している。 ## 結果：公開ベンチマークの再整理 公式が同一マシン・同一重み・同一ハーネスで比較した数字（2026年11月2〜5日、release 0.4.0）を要約する。詳細はinferd.incept5.ai/benchmarks…とGitHubのdocs/RESULTS.mdを参照。 ### Mac Studio M5 Ultra（256GB） - Qwen3.8-27B、64エージェント（各16kコンテキスト）：**849 tok/s**、最遅の最初のトークンは3.4〜3.7秒（32エージェント時は722 tok/s前後）。 - Qwen3.8-Flash-Next、64エージェント：1,331〜1,346 tok/s、最遅初トークン1.8〜1.9秒。 - 32エージェント×64kコンテキスト：最後のエージェントの初トークンが**3.3〜3.4秒**（Splash 1.5は約49秒）。 - コンテキスト保存後の再開：0.2〜0.7秒（再計算15〜18秒に対して）。 - 8エージェント同時起動（14kプロンプト、6400トークン出力）：全員完了が125.6秒（TensorFold 1.2.2は177.6秒）。 壁コンセント実測で64〜128エージェント時約300W、4.4〜5.1 tok/J。 ### Mac miniクラス - M6 32GB：27Bで8エージェント時95 tok/s（4-bit KV）、9Bで16エージェント164 tok/s。 - M5 Pro 64GB：27Bフリートで16k時18.2〜19.0ターン/分、35B MoEで81〜93ターン/分。 - 再開時の初トークン：0.14〜0.4秒クラス。 Splash 1.5やTensorFoldと比較すると、エージェント数が増えるほどinferdが有利になる傾向が明確。単一ストリームや少数エージェントではTensorFoldやSplashの方が速いケースもある（公式も正直に記載）。 品質面ではlogitsがmlx_lmとほぼ一致（cosine 0.999以上）、コーディングテストでSplashと同等レベル、厳格JSON出力が負荷下でも100/100有効など。 ## 実務的な影響 Macを持っている人にとって、ローカルで「エージェントスウォーム」を現実的な速度で動かせる可能性が開く。コーディングエージェントが複数のサブエージェントを同時に走らせる、ドキュメント検証を32エージェントで並行する、などのシナリオが公式サイトでも計測されている。OpenAI互換APIなので、既存のエージェントフレームワークのbase_urlを`http://localhost:8300/v1`に変えるだけで試せる。 32GBのMac miniでも27Bが動く点は実用性が高い。SSDティアがあるので、コンテキストが長くてもメモリを圧迫しにくい。 ## バランスの取れた評価と限界 強み： - エージェント並行時のスループットと再開速度が突出。 - 一次情報として詳細な比較表と「どこで他が勝つか」を明示している誠実さ。 - Apache-2.0でオープン。 限界： - 公開から数日〜1週間程度の極めて若いプロジェクト。小規模チーム＋AI支援で開発。 - 単一ストリームでは他エンジンが速い。 - M1/M2は未テスト。macOS 26/27向けビルドがあり、バージョンを間違えるとlogitsが狂う注意点あり。 - 信頼できるローカルユーザー向け。ネットワークサービスとしての運用はまだ想定外。 - モデル対応は限定的（主にQwen3.8系）。 公式自身が「単一ストリームではTensorFoldが約19%速い」「成熟度はまだ低い」と書いている通り、万能ではない。エージェントを多数並行させたいMacユーザーにとっての専門ツール、という位置づけが正しい。 ## 試し方（公式手順より） 1. GitHubのv0.4.1リリースからmacOS 27/26用のtar.gzをダウンロードし、sha256を確認。 2. `./install.sh --model 27b`（約17GBダウンロード、Python 3.12必要）。 3. `./run.sh start --model 27b`（ポート8300でOpenAI互換サーバー起動）。 4. curlやopenaiライブラリで`http://localhost:8300/v1`に接続。 ソースからビルドも可能（XcodeとMetal toolchain必要）。 ## 出典と確認状況 - 公式サイト：inferd.incept5.ai/ - GitHub：github.com/Incept5-AI/inferd （OVERVIEW.md、README.md、docs/RESULTS.md、ARCHITECTURE.mdなど） - ベンチマーク：inferd.incept5.ai/benchmarks… - 日本語圏での言及：Zenn/Qiita/note/はてなを「inferd」「Incept5」で検索した範囲ではほぼゼロ（2026年11月8日時点）。Splashについてはnoteでいくつか紹介があるが、inferd自体は未紹介。 一次情報を直接確認し、公開データから数字を再整理した。実際に自分のMacで再ベンチマークまでは未実施だが、公式の比較手法（同一重み・同一マシン・同一ハーネス）は透明性が高く、検証しやすい。 #inferd #AppleSilicon #Metal #AIエージェント #ローカルLLM #Qwen #投機デコード #DFlash2 #OSS （本文は2026年11月8日時点の一次情報に基づく。プロジェクトは急速に更新されるため、最新は公式リポジトリを確認されたい。）

コーヒーと合わせるなら、塩系？甘い系？それとも肉派？ 引用ポストで応募！ 【#マックのコーヒー何と飲みたい】をつけて本日10/27(火)中に引用ポストすると、抽選で2日合計100名様に1,000円分のマックカードが当たる！ 詳細は画像をタップ！

【公式見解】Apple、iPhone Duoの画面問題を認める Appleの説明 ・ごく少数の個体で発生 ・大半の個体は影響を受けない ・問題の個体は使い始めてまもなく症状が出る ・症状が出たらAppleCareで交換 詳細はリプライへ👇