Yoichi Aoki (@y_aoneko) profile picture

#NLProc D3 at TohokuNLP (Tohoku NLP Lab. @NLPTohoku)

Joined May 2018
Photo by Yoichi Aoki (@y_aoneko)Photo by Yoichi Aoki (@y_aoneko)
日本語の推論過程付き数量推論データセット「JaMathCoT」を公開しました! 24,460件の問題を収録し,JaMathCoTを含むデータでSarashina2.2-3BをSFTしたところ,MGSM-jaの正解率が 61.2%→70.8%に改善することも確認済みです。 詳細は以下の記事にまとめています! 📝 zenn.dev/ao1neko/articles/cd…
1
6
1
52
2,949
Yoichi Aoki retweeted
📢「Sarashinaサービス」アップデートのお知らせ 「Sarashina3.2 mini thinking」のAPI提供を開始しました🧠 複雑な論理的思考が必要なタスクにおいて回答精度が向上しています。 【新モデルの提供】 🔹ツール呼び出しや検索の精度が向上 🔹速度や精度のニーズに応じて、思考レベルを3段階から選択可能 🔹安全性を強化 【API改善】 🔹v1/models APIに対応 🔹パラメータ制限を緩和 🔹Translate APIの流動制限を毎分30リクエストに緩和 【Web翻訳機能の改善】 🔹入力上限を1,500字から5,000字に拡張 詳しくはこちら👇 Sarashinaサービスを体験する:sarashina.ai/ TECH BLOG:sbintuitions.co.jp/blog/entr… #SBIntuitions #Sarashina #生成AI #LLM
3
127
52
374
72,516
Yoichi Aoki retweeted
📢プレスリリースのお知らせ 国産生成AI「Sarashina」を利用できる「Sarashinaサービス」の無償ベータ版を提供開始 〜6つのAIモデルを利用できるAPI機能とチャット機能を一般公開〜 詳しくはこちら プレスリリース:sbintuitions.co.jp/news/pres… Sarashinaサービス:sarashina.ai #SBIntuitions
45
1,056
468
4,459
1,712,908
Yoichi Aoki retweeted
RoboticsチームのVLAが、新たに「箱の組み立て」タスクを完全自律で実現しました。📦🚀 Our Robotics team's VLA has successfully achieved fully autonomous box assembly. 📦🚀 #SBIntuitions
9
86
25
490
103,457
Yoichi Aoki retweeted
Our paper has been accepted to #EMNLP2026 Main! Huge thanks to all my co-authors for their incredible support and contributions! @k8kudo @y_aoneko @rtanaka_lab @saito_itsumi @KeisukeS_ @inuikentaro
1
13
2
63
7,604
強いモデル作ったよ、 Sarashina3 sbintuitions.co.jp/blog/entr…
7
65
17
399
119,227
Yoichi Aoki retweeted
📢本日よりCloud PF Type Aで提供する「Sarashina3 mini / Sarashina3 nano」に関するテックブログを公開しました。 詳しくはこちらから👇 sbintuitions.co.jp/blog/entr… #SBIntuitions
🚀国産生成AI「Sarashina3 シリーズ」を「Cloud PF Type A」で提供開始しました! 性能が向上した標準モデルおよびベクトル化モデルに加え、多様化するビジネスニーズに応える新たな専用モデルも追加✅ 詳しくはこちら👇 sbintuitions.co.jp/news/pres… #SBIntuitions
45
12
82
62,571
Yoichi Aoki retweeted
数学を解くLLM構築コンペ FT-LLM2026で,オープン部門1位,総合部門でも2位となりました! Tohoku NLP+αで実現しうる最強メンバー(@mhida90, @onely7_deep @go2oo2 @muyo8692 @r_takahashi_h12 @y_aoneko @kyano__nlp @ma38taniguchi @t_ito0516 @KeisukeS_ @drJunSuzuki)による賜物です! @tohoku_nlp
11
3
41
5,616
言語処理学会 #NLP2026 では共著論文が1本優秀賞、1本委員特別賞を受賞しました! また、FT-LLM 2026 ワークショップでは、チームdentakuとしてオープン部門1位、総合部門2位を取ることができ、大変嬉しく思います。改めて、共著者の皆様ありがとうございました!
数学を解くLLM構築コンペ FT-LLM2026で,オープン部門1位,総合部門でも2位となりました! Tohoku NLP+αで実現しうる最強メンバー(@mhida90, @onely7_deep @go2oo2 @muyo8692 @r_takahashi_h12 @y_aoneko @kyano__nlp @ma38taniguchi @t_ito0516 @KeisukeS_ @drJunSuzuki)による賜物です! @tohoku_nlp
2
20
1,352
Yoichi Aoki retweeted
#NLP2026 にて,主著論文「多段算術推論タスクにおける思考の連鎖の忠実性」が委員特別賞を受賞しました! 共著者は@y_aoneko , @ttk_kuribayashi , shusaku sone, @ma38taniguchi , @ana_brrr, @KeisukeS_, @inuikentaro さんです. 共著者の皆様の多くのサポートに感謝申し上げます! @tohoku_nlp
1
6
42
1,556
Yoichi Aoki retweeted
#NLP2026 にて、NTT tsuzumiチームが優秀賞5件、若手奨励賞1件を受賞しました! これを励みに、今後も大規模言語モデル「tsuzumi」の開発と、革新的な研究の両面で、より一層挑戦を続けて参ります。採用も積極的に行っていますので、tsuzumi のR&Dに興味をお持ちいただけた方は、ぜひご連絡ください! ntt-labs.jp/saiyo/ ■ 優秀賞(718件中16件) 位置符号化の基底拡大戦略は外挿性能を制限する 岡 佑依 (NTT/東北大), 斉藤 いつみ (東北大), 西田 京介 (NTT) 周波数エントロピーによる位置埋込みの解明 岡 佑依 (NTT), 花房 健太郎 (愛媛大), 長谷川 拓, 西田 京介 (NTT) CMDR: 文脈を考慮したマルチモーダル文書検索 田中 涼太, 長谷川 拓, 西田 京介 (NTT) Let's Put Ourselves in Sally's Shoes: 他人の靴プレフィリングは大規模言語モデルの心の理論を改善する 篠田 一聡, 北条 伸克, 西田 京介, 山﨑 善啓, 鈴木 啓太, 杉山 弘晃, 齋藤 邦子 (NTT) 大規模視覚言語モデル内部におけるダイアグラムの表現形成過程 吉田 遥音, 工藤 慧音, 青木 洋一 (東北大), 田中 涼太 (NTT), 斉藤 いつみ, 坂口 慶祐, 乾 健太郎 (東北大) ■ 若手奨励賞(517件中21件) ハルシネーションから学ぶ:内部表現への介入によるハルシネーション抑制 門谷 宙, 西田 光甫, 西田 京介 (NTT)
19
2
124
19,627
Yoichi Aoki retweeted
光栄なことに #NLP2026 で発表した「大規模視覚言語モデル内部におけるダイアグラムの表現形成過程」が優秀賞を受賞しました🎉 発表を聞きに来てくださった皆様,サポートしていただいた共著の皆様,@tohoku_nlp の皆様,ありがとうございました! 今後もバリバリ研究します💪
4
12
93
4,127
Yoichi Aoki retweeted
自分も所属するTohoku NLP Group、言語処理学会での発表数が多すぎるのか一般化されてて笑った おそらく65件?の発表があるみたいです (8%に絡んでるのすごい)
1
3
19
2,090
Yoichi Aoki retweeted
1月1日付けで、東京は立川にある国立国語研究所 @kokugoken の准教授に着任しました。引き続き面白い研究ができるよう気合いを入れて頑張ります。 自然言語の数理を掴まえるためのラボも立ち上げます。ご興味のあるかたはぜひご連絡ください。 🧵[1/]
23
91
7
1,048
106,118
Yoichi Aoki retweeted
東北NLPグループ @tohoku_nlp での最後の出勤でした。修士でここに来てから9年半、人生でもっとも長い時間を過ごした場所となりました。関係各位に心から感謝します。 これ以上ない環境で、得難い友人を得、そして考えるための良い筋肉を付けることができました。引き続き気合いを入れて頑張ります。
7
15
285
28,499
#NLP2025 では、3/10(月)午後 に、4件のチュートリアルを行います! 言語モデルの内部機序:解析と解釈(仮) Benjamin Heinzerling  先生(理化学研究所/東北大学) 横井 祥 先生(東北大学/理化学研究所) 小林 悟郎 先生(東北大学/理化学研究所) anlp.jp/nlp2025/#tutorial
16
3
51
44,899
LLMは、 - 考えてから話す(think-to-talk) - 話しながら考える(talk-to-think) のどちらなのか。 この論文では、LLMがその両方を問題の複雑さに応じて使い分けており、単純なサブ問題では推論を事前実行し、複雑な部分はCoT中に実行することを示した。 LLMの高度で柔軟な推論能力を裏付ける発見だ。
This study reveals when LLMs actually figure out their answers - before or during explanations. This research investigates how LLMs internally determine their answers during Chain-of-Thought reasoning, revealing whether they follow a "think-to-talk" (predetermined conclusion) or "talk-to-think" (step-by-step reasoning) approach. ----- Original Problem 🤔: → We don't know if Chain-of-Thought explanations from LLMs are genuine step-by-step reasoning or post-hoc justifications of predetermined answers. ----- Solution in this Paper 🔬: → The researchers used causal probing to analyze model internals at each layer during each timestep, tracking when answers emerge during reasoning. → They created controlled arithmetic tasks with varying complexity levels to test how models handle simple vs complex calculations. → Linear probes were trained to predict variable values from hidden states, revealing when computations actually occur. → They validated findings through activation patching experiments to confirm causal relationships between intermediate calculations and final answers. ----- Key Insights 💡: → Simple single-step calculations are solved before Chain-of-Thought begins → Complex multi-hop problems are computed during the explanation process → Models show systematic patterns across different sizes and architectures → The relationship between predetermined sub-answers and final outputs is somewhat indirect ----- Results 📊: → Achieved nearly 100% task accuracy across 10 different LLM architectures → Larger models computed intermediate answers slightly earlier than smaller ones → Models consistently solved single-step problems (steps ≤ 1) before starting explanations
1
55
7
252
24,961
This study reveals when LLMs actually figure out their answers - before or during explanations. This research investigates how LLMs internally determine their answers during Chain-of-Thought reasoning, revealing whether they follow a "think-to-talk" (predetermined conclusion) or "talk-to-think" (step-by-step reasoning) approach. ----- Original Problem 🤔: → We don't know if Chain-of-Thought explanations from LLMs are genuine step-by-step reasoning or post-hoc justifications of predetermined answers. ----- Solution in this Paper 🔬: → The researchers used causal probing to analyze model internals at each layer during each timestep, tracking when answers emerge during reasoning. → They created controlled arithmetic tasks with varying complexity levels to test how models handle simple vs complex calculations. → Linear probes were trained to predict variable values from hidden states, revealing when computations actually occur. → They validated findings through activation patching experiments to confirm causal relationships between intermediate calculations and final answers. ----- Key Insights 💡: → Simple single-step calculations are solved before Chain-of-Thought begins → Complex multi-hop problems are computed during the explanation process → Models show systematic patterns across different sizes and architectures → The relationship between predetermined sub-answers and final outputs is somewhat indirect ----- Results 📊: → Achieved nearly 100% task accuracy across 10 different LLM architectures → Larger models computed intermediate answers slightly earlier than smaller ones → Models consistently solved single-step problems (steps ≤ 1) before starting explanations
1
35
3
171
35,357