ホームズ

MoEの学習ではエキスパート利用の均衡化のための損失を導入するが学習目標と別なので悪影響がある（微調整も面倒）。損失無均衡化は、バイアスを加えてエキスパート選択。バイアスは前回選択時の不均衡度合いに応じて更新。バイアスは損失前向き計算時の重みには加えず勾配に影響ない arxiv.org/abs/2408.15664 均衡度合い、得られるモデルの性能（perplexityでの評価のみだが）で補助損失を使う場合に比べ大きく改善している バイアスは前のバッチの際の不均衡度合い（平均からのずれ）に応じオンライン学習のように更新する。 論文ではToken側がExpertを選ぶExpert Choiceの問題について言及しており、エキスパート選択によって系列の将来の情報が漏れてしまい汎化性能が大きく落ちてしまうという問題を指摘している。このExpert Choiceによる将来情報リークの問題はうちでも半年前ぐらいに追試した際に発生し、悩ませていたが他にも原因があるかということで報告までいかなかったが、このように論文でまとまるとよい。

医療言語処理は、応用寄りのタスクほど軽量LLMでも解けそう． 必要な知識量が多いタスクは、その知識を格納できるだけのパラメータ数が必要そう．

BMJのインフォグラフィック特集ページが熱い🔥 複雑な医療情報をどのようにわかりやすく、正しく伝えるか？の勉強になる。 資料作成の参考になる。 ただ眺めているだけでも楽しい。

計算言語学と自然言語処理の基礎の本を講談社より出版します。形式意味論に基づく計算言語学によることばの意味の計算のしくみと、LLMをはじめとして深層学習を中心とした自然言語処理によることばの意味の計算のしくみを紹介しています。これを読めばあなたの人生がさらに豊かになること間違いなし！