arxiv生成AI論文解説 by ずんだもん

daily-news-by-yukkuri

arXivに投稿された生成AI最新論文を、ずんだもんと四国めたんが毎日わかりやすく解説します。音声合成: VOICEVOX / キャラクター: ずんだもん・四国めたん

  1. 19h ago

    MistralとMoEルーター、オンポリシー蒸留の技能と知識を読む5論文 2026/10/12

    Mistral 7Bの窓付き注意、MoEルーターの確率写像と弾性的なTop-k、オンポリシー蒸留の原型GKD、技能は移るが新しい知識は移りにくいという対照実験を比較します。 ▼ 今日の論文ラインナップ ・Mistral 7BのGQAとスライディングウィンドウ注意（arXiv:2310.06825） ・疎な確率写像とMoE専門家数の関係（arXiv:2610.06677） ・Top-k境界を訓練時に揺らすElastic Expert Routing（arXiv:2610.11575） ・生徒自身の生成列で学ぶ一般化知識蒸留GKD（arXiv:2306.13649） ・オンポリシー蒸留が技能と知識を非対称に移す条件（arXiv:2610.09639） #生成AI #LLM #arxiv #論文解説 #蒸留 #Mistral #MoE #機械学習 #ずんだもん

  2. 1d ago

    Llama 3とOLMo 2、オンポリシー蒸留の監督を絞る5論文 2026/10/11

    オープンLLMの密モデル設計と学習安定化をLlama 3・OLMo 2から読み、オンポリシー蒸留の監督を問題・トークン・多ターン軌跡の3段階で絞る最新研究を比較します。 ▼ 今日の論文ラインナップ ・密モデルと段階的な文脈拡張を選んだLlama 3（arXiv:2407.21783） ・学習の安定化と中間学習を公開したOLMo 2（arXiv:2501.00656） ・8問や自己生成問題でも成り立つオンポリシー蒸留（arXiv:2609.14193） ・監督するトークンを4割に絞るDIAL-OPD（arXiv:2610.11659） ・多ターンで教師が確率的に介入するSTI-OPD（arXiv:2610.10878） ▼ 参考論文（arXiv） https://arxiv.org/abs/2407.21783 — Llama 3モデル群 https://arxiv.org/abs/2501.00656 — OLMo 2 https://arxiv.org/abs/2609.14193 — データ不要オンポリシー蒸留 https://arxiv.org/abs/2610.11659 — DIAL-OPD https://arxiv.org/abs/2610.10878 — STI-OPD #生成AI #LLM #arxiv #論文解説 #蒸留 #Llama3 #OLMo #機械学習 #ずんだもん

  3. 2d ago

    近い教師と遠い教師で蒸留はどう変わるか｜Gemma 2・Qwen3と新着3研究 2026/10/10

    特集「蒸留とオープンLLMの代表的アーキテクチャ」第5回。Gemma 2、Qwen3、RouterInterp、Semi-OPD、オンポリシー蒸留の学習信号消失を大学院生・研究者向けに比較します。 ▼ 今日の論文ラインナップ ・事前学習から蒸留を使うジェンマ2（arXiv:2408.00118） ・思考モード統合と強から弱への蒸留を備えたクウェン3（arXiv:2505.09388） ・専門家は単一分野でなく重ね合わせで特化する（arXiv:2610.11775） ・オンポリシー蒸留より初期生徒の固定ロールアウトが勝つ条件（arXiv:2610.11291） ・大きな教師でオンポリシー蒸留が停滞する学習信号の消失（arXiv:2610.11247） ▼ 参考論文（arXiv） https://arxiv.org/abs/2408.00118 https://arxiv.org/abs/2505.09388 https://arxiv.org/abs/2610.11775 https://arxiv.org/abs/2610.11291 https://arxiv.org/abs/2610.11247 #生成AI #LLM #AI #arxiv #論文解説 #機械学習 #蒸留 #Gemma #Qwen3 #MixtureOfExperts #ずんだもん

  4. 3d ago

    必要な場所だけ教師と専門家を使うAI設計｜Mixtralと蒸留3研究 2026/10/09

    特集「蒸留とオープンLLMの代表的アーキテクチャ」。Mixtral、LatentIndex、Entropy-Aware Mixing、Flash-OPD、ResOPDを大学院生・研究者向けに比較します。 ▼ 今日の論文ラインナップ ・8専門家から2つを選ぶMixtral（arXiv:2401.04088） ・層間共有と層別選択を両立するLatentIndex（arXiv:2610.04635） ・生徒の不確実性で教師分布を混ぜる蒸留（arXiv:2610.06671） ・信頼境界で軌跡を止めるFlash-OPD（arXiv:2610.06105） ・疎な教師通信で不偏勾配を作るResOPD（arXiv:2610.04882） ▼ 参考論文（arXiv） https://arxiv.org/abs/2401.04088 https://arxiv.org/abs/2610.04635 https://arxiv.org/abs/2610.06671 https://arxiv.org/abs/2610.06105 https://arxiv.org/abs/2610.04882 #生成AI #LLM #AI #arxiv #論文解説 #機械学習 #蒸留 #MixtureOfExperts #ずんだもん

  5. 4d ago

    推論蒸留は何を受け継ぐ？DeepSeek-R1とJambaほか5本【2026/10/08】

    蒸留の性能・費用・安全性と、DeepSeek-R1、Jambaの設計を大学院生・研究者向けに比較します。 ▼ 今日の論文ラインナップ ・DeepSeek-R1 — DeepSeek-AI（arXiv:2501.12948） ・Jamba — AI21 Labs（arXiv:2403.19887） ・多教師能力統合の自己蒸留再考 — Apple・Duke University（arXiv:2610.04272） ・異種トークナイザー間オンポリシー蒸留 — Alibaba Cloud（arXiv:2610.08448） ・安全性蒸留のバックドアリスク — Stony Brook University・Amazon（arXiv:2610.07654） ▼ 参考論文（arXiv） https://arxiv.org/abs/2501.12948 — DeepSeek-R1 https://arxiv.org/abs/2403.19887 — Jamba https://arxiv.org/abs/2610.04272 — 多教師能力統合の自己蒸留再考 https://arxiv.org/abs/2610.08448 — 異種トークナイザー間オンポリシー蒸留 https://arxiv.org/abs/2610.07654 — 安全性蒸留のバックドアリスク #生成AI #LLM #AI #人工知能 #arxiv #論文解説 #ずんだもん #DeepSeek #機械学習

  6. 5d ago

    蒸留はどこで学ぶべきか？DeepSeek-V3ほか5本解説【2026/10/07】

    蒸留とオープンLLMの代表的アーキテクチャ特集、第2回です。DeepSeek-V3の負荷分散と多トークン予測、ハイブリッド言語モデルの記憶経路、オンポリシー蒸留の三つの拡張を研究者向けに比較します。 ▼ 今日の論文ラインナップ ・補助損失なしの負荷分散と多トークン予測を加えたDeepSeek-V3 — DeepSeek-AI（arXiv:2412.19437） ・ハイブリッド言語モデルは再帰層の記憶を使い切っていない — UNC Chapel Hillほか（arXiv:2610.06750） ・生徒の途中推論から続ける練習を教師に積ませるオンポリシー蒸留 — 香港中文大学深圳（arXiv:2610.04950） ・べき乗分布へのオンポリシー蒸留で探索なしに解答を鋭くする — USC・Intel AIほか（arXiv:2610.06804） ・オフポリシー更新の接ぎ木がオンポリシー自己蒸留に勝る継続学習 — カーネギーメロン大学（arXiv:2610.05872） ▼ 参考論文（arXiv） https://arxiv.org/abs/2412.19437 — DeepSeek-V3 Technical Report https://arxiv.org/abs/2610.06750 — Balancing Memory Pathways https://arxiv.org/abs/2610.04950 — How Should Teachers Be Prepared? https://arxiv.org/abs/2610.06804 — Sharpen Without Search https://arxiv.org/abs/2610.05872 — Off-Policy Merging Beats On-Policy Self-Distillation #生成AI #LLM #AI #人工知能 #arxiv #論文解説 #ゆっくり解説 #ずんだもん #DeepSeek #知識蒸留 #機械学習

  7. 6d ago

    蒸留とDeepSeek-V2を読む【Frontier AI論文5本 2026/10/06】

    蒸留とオープンLLMの代表的アーキテクチャを、大学院生・研究者向けに比較します。GQAとDeepSeek-V2のKVキャッシュ削減、オンポリシー蒸留のエントロピー・崩壊・強化学習への接続を扱います。 ▼ 今日の論文ラインナップ ・多頭注意のチェックポイントからGQAを作るアップトレーニング — Google Research（arXiv:2305.13245） ・MLAとDeepSeekMoEによるDeepSeek-V2 — DeepSeek-AI（arXiv:2405.04434） ・蒸留のダイバージェンスが生徒のエントロピーを決める — Stanford University（arXiv:2610.03529） ・オンポリシー蒸留の利得と崩壊を強化学習として捉える — Westlake Universityほか（arXiv:2610.03185） ・ルーブリック特権蒸留で強化学習を始める — Meta・New York University（arXiv:2610.02781） ▼ 参考論文（arXiv） https://arxiv.org/abs/2305.13245 — GQAのアップトレーニング https://arxiv.org/abs/2405.04434 — DeepSeek-V2 https://arxiv.org/abs/2610.03529 — 蒸留のダイバージェンスとエントロピー https://arxiv.org/abs/2610.03185 — オンポリシー蒸留の利得と崩壊 https://arxiv.org/abs/2610.02781 — ルーブリック特権蒸留と強化学習 #生成AI #LLM #AI #人工知能 #arxiv #論文解説 #ずんだもん #機械学習 #DeepSeek #知識蒸留

  8. Oct 4

    事後学習は能力を狭める？Frontier AI重要論文5本【2026/10/05】

    事後学習が反復試行で届く課題範囲を狭める「シャープニング税」、画像を必要とする報酬設計、階層型拡散言語モデル、スキル連鎖によるエージェント乗っ取り、凍結アテンションの普遍補間を、評価条件と限界まで掘り下げます。 ▼ 今日の論文ラインナップ ・事後学習はエージェント課題の到達範囲に税をかける — Meta Superintelligence Labsほか（arXiv:2610.01509） ・報酬が画像を必要としなければ強化学習は見ることを学ばない — 中国科学院計算技術研究所（arXiv:2610.01908） ・連続潜在状態だけを持続させる階層型拡散言語モデル — UIUC・Amazon（arXiv:2610.02193） ・スキルの連鎖で偽の承認記録を運ばせエージェントを乗っ取る — 香港大学ほか（arXiv:2610.01564） ・凍結した2つのランダムなアテンションブロックで任意の系列集合を写す — ニューヨーク大学（arXiv:2610.01981） ▼ 参考論文（arXiv） https://arxiv.org/abs/2610.01509 — 事後学習はエージェント課題の到達範囲に税をかける https://arxiv.org/abs/2610.01908 — 報酬が画像を必要としなければ強化学習は見ることを学ばない https://arxiv.org/abs/2610.02193 — 連続潜在状態だけを持続させる階層型拡散言語モデル https://arxiv.org/abs/2610.01564 — スキルの連鎖で偽の承認記録を運ばせエージェントを乗っ取る https://arxiv.org/abs/2610.01981 — 凍結した2つのランダムなアテンションブロックで任意の系列集合を写す #生成AI #LLM #AI #arxiv #論文解説 #機械学習 #AIエージェント #強化学習 #マルチモーダルAI #AI安全性 #ずんだもん #四国めたん

See All (131)

About

arXivに投稿された生成AI最新論文を、ずんだもんと四国めたんが毎日わかりやすく解説します。音声合成: VOICEVOX / キャラクター: ずんだもん・四国めたん

Information