arxiv生成AI論文解説 by ずんだもん

daily-news-by-yukkuri
  • 0.0 (0)
  • Technology
  • Daily

arXivに投稿された生成AI最新論文を、ずんだもんと四国めたんが毎日わかりやすく解説します。音声合成: VOICEVOX / キャラクター: ずんだもん・四国めたん

  1. Oct 19

    OLMoEの細粒度MoE、MLAキャッシュの2ビット化、MoE自己教師と蒸留2本 AI論文5本【2026/10/20】

    64個の小さな専門家から8個を選ぶ構成を対照実験で決め、データ・コード・学習ログまで公開したOLMoE、MLAの潜在KVキャッシュを回転と量子化範囲の同時較正で2ビットにするRoLaQ、MoEの活性専門家数を増やした自分自身を教師にして元の活性数へ蒸留し戻すMoEvolve、オンポリシー蒸留の教師フィードバックを系列全体の信用に集約するGR-OPD、生徒自身の下書きから学べる推論過程を選んで蒸留するReDiSTを、比較条件と限界まで解説します。 ▼ 今日の論文ラインナップ ・64個の小さな専門家から8個を選ぶMoEを、データと学習ログまで公開 — Allen Institute for AI ほか（arxiv:2409.02060） ・MLAの潜在KVキャッシュを回転と量子化範囲の同時較正で2ビットにする — ハルビン工業大学・清華大学・百度（arxiv:2610.20686） ・MoEの活性専門家数を増やした自分自身を教師にして、元の活性数へ蒸留し戻す — 北京航空航天大学・BIGAI・美団（arxiv:2610.23185） ・オンポリシー蒸留の教師フィードバックを系列全体の信用に集約して割り当てる — 上海交通大学・アリババグループ（arxiv:2610.23042） ・生徒自身の下書きを根拠に沿って直し、生徒が学べる推論過程を選んで蒸留する — ストーニーブルック大学・Meta AI（arxiv:2610.23831） ▼ 参考論文（arXiv） https://arxiv.org/abs/2409.02060 — OLMoE: Open Mixture-of-Experts Language Models https://arxiv.org/abs/2610.20686 — RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention https://arxiv.org/abs/2610.23185 — A Stronger Teacher Within: Strengthening MoE Models via On-Policy Bidirectional Distillation https://arxiv.org/abs/2610.23042 — GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation https://arxiv.org/abs/2610.23831 — Beyond the Answer: Student-Conditioned Trace Construction for Reasoning Distillation #生成AI #LLM #MoE #OLMoE #KVキャッシュ #量子化 #蒸留 #オンポリシー蒸留 #arxiv #論文解説 #ずんだもん

  2. Oct 18

    MiniMax-01の7対1ハイブリッド注意と位置の混成、MiniLLMから続く逆方向KL蒸留3本 AI論文5本【2026/10/19】

    ライトニング注意7層ごとにソフトマックス注意を1層挟む4560億パラメータの公開モデルMiniMax-01、ハイブリッドモデルの長文脈性能をNoPEと位置の偏りを持つ注意の分担から説明する新着、逆方向KLでオンポリシー蒸留を始めたMiniLLM、その逆方向KLが届かない位置をJS発散で選んで順方向KLを足すDrOPD、視覚言語モデルのオンポリシー蒸留が教師の「解答を書き終えない」癖まで引き継ぐことを示した研究を、比較条件と限界まで解説します。 ▼ 今日の論文ラインナップ ・線形注意7層ごとに通常の注意を1層挟んだ4560億パラメータの公開モデル — MiniMax（arxiv:2501.08313） ・ハイブリッドモデルの長文脈性能を位置の混成から説明する — 復旦大学・上海創智学院（arxiv:2610.10114） ・教師分布の主要な山を追わせるオンポリシー蒸留の原型 — 清華大学・Microsoft Research（arxiv:2306.08543） ・教師と生徒の食い違いが大きい位置だけに順方向の監督を足す蒸留 — 北京大学・快手科技・清華大学（arxiv:2610.19572） ・視覚言語モデルのオンポリシー蒸留は、教師が解答を書き終えない癖まで引き継ぐ — ジョージア工科大学（arxiv:2610.20989） ▼ 参考論文（arXiv） https://arxiv.org/abs/2501.08313 — MiniMax-01: Scaling Foundation Models with Lightning Attention https://arxiv.org/abs/2610.10114 — Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position https://arxiv.org/abs/2306.08543 — MiniLLM: On-Policy Distillation of Large Language Models https://arxiv.org/abs/2610.19572 — Divergence-Routed On-Policy Distillation for Language Models https://arxiv.org/abs/2610.20989 — Do As I Do, Not As I Say: On-Policy Distillation Inherits the Teacher in Vision-Language Models #生成AI #LLM #MiniMax #線形注意 #ハイブリッドモデル #蒸留 #オンポリシー蒸留 #arxiv #論文解説 #ずんだもん

  3. Oct 17

    Kimi K2の疎性とQK-Clip、ハイブリッドLLMの接頭辞キャッシュ、蒸留3本 AI論文5本【2026/10/18】

    専門家を384個に増やし注意ヘッドを64本に半減させた1兆パラメータの公開モデルKimi K2、線形注意の再帰状態を直近の入力の再生で作り直すTail-Replay、逆向きの推論過程を前向きへ翻訳して棄却サンプリングを置き換えるCoTranslator、直すべき区間だけを教師に書き直させる局所的文脈蒸留LoCD、正誤未検証の仲間解答の一致から学ぶ自己蒸留SRDを、比較条件と限界まで解説します。 ▼ 今日の論文ラインナップ ・専門家を384個に増やし注意ヘッドを半分にした1兆パラメータの公開モデル — Moonshot AI（arxiv:2507.20534） ・線形注意の再帰状態を直近の入力から再構成する接頭辞キャッシュ — 中国電信人工知能研究院（TeleAI）・上海交通大学（arxiv:2608.30310） ・答えを見て書いた推論過程を、答えを見ない推論過程へ翻訳する蒸留データ生成（arxiv:2610.20828） ・直すべき区間だけを教師に書き直させる文脈蒸留 — Tencent・香港中文大学・浙江大学・香港科技大学（arxiv:2610.21427） ・正誤を確かめていない仲間の解答から、一致した変化だけを学ぶ自己蒸留 — 上海交通大学（arxiv:2610.22080） ▼ 参考論文（arXiv） https://arxiv.org/abs/2507.20534 — Kimi K2: Open Agentic Intelligence https://arxiv.org/abs/2608.30310 — Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs https://arxiv.org/abs/2610.20828 — CoTranslator: Reverse to Forward Chain-of-Thought Translator for Reasoning Distillation https://arxiv.org/abs/2610.21427 — Learning from Interaction Experience via Localized Context Distillation https://arxiv.org/abs/2610.22080 — Learning from Unverified Peers via Shared Residual Distillation #生成AI #LLM #KimiK2 #MoE #線形注意 #蒸留 #arxiv #論文解説 #ゆっくり解説 #ずんだもん

  4. Oct 15

    Mamba原典とGQLA、教師の優位はどこにある？蒸留3本 AI論文5本【2026/10/16】

    状態空間モデルMambaの原典（Δ・B・Cを入力の関数にする選択機構）、同じ重みでMLAの潜在読みとGQA経路を切り替えるGQLA、オンポリシー蒸留で教師の優位が生徒の軌跡のどこにあるかを差し替え実験で測る分析、教師の批評で生徒が書き直すCriticOPD、1トークン先の分岐で事前学習の蒸留を広げるPA1-OPDを、比較条件と限界まで解説します。 ▼ 今日の論文ラインナップ ・入力に応じて状態を選ぶ線形時間の系列モデル、マンバ — カーネギーメロン大学・プリンストン大学（arxiv:2312.00752） ・同じ重みで2通りの実行経路を持つグループ化潜在注意 — Xiaohongshu Dots Studio・北京理工大学（arxiv:2605.15250） ・オンポリシー蒸留で教師の優位はどこにあるか — カリフォルニア大学マーセド校（arxiv:2610.19145） ・教師の批評で生徒が書き直し、回復可能性を取り戻す蒸留 — ブリガムヤング大学・ノースカロライナ大学チャペルヒル校（arxiv:2610.20572） ・1トークン先の分岐で事前学習の蒸留を広げる — ファーウェイ・北京航空航天大学（arxiv:2610.19601） ▼ 参考論文（arXiv） https://arxiv.org/abs/2312.00752 — 入力に応じて状態を選ぶ線形時間の系列モデル、マンバ https://arxiv.org/abs/2605.15250 — 同じ重みで2通りの実行経路を持つグループ化潜在注意 https://arxiv.org/abs/2610.19145 — オンポリシー蒸留で教師の優位はどこにあるか https://arxiv.org/abs/2610.20572 — 教師の批評で生徒が書き直し、回復可能性を取り戻す蒸留 https://arxiv.org/abs/2610.19601 — 1トークン先の分岐で事前学習の蒸留を広げる #生成AI #LLM #Mamba #状態空間モデル #MLA #GQA #蒸留 #arxiv #論文解説 #ゆっくり解説 #ずんだもん

  5. Oct 14

    DeepSeek-V3.2の疎な注意と、効かない蒸留・効く蒸留 AI論文5本【2026/10/15】

    DeepSeek-V3.2のスパース注意（DSA）と専門家蒸留、その索引器を厳密なまま高速化するDoSA、QKNorm・MoEモデルをMLAへ移すMLAfication、生徒が解けない問題でのオンポリシー蒸留の負の結果、報酬に合わせてトークンごとに教師信号を重み付けするRADを、比較条件と限界まで解説します。 ▼ 今日の論文ラインナップ ・注意を上位2048トークンに絞ったディープシークV3.2 — DeepSeek-AI（arxiv:2512.02556） ・索引器の上位k選択を厳密なまま省略する証明書方式 — Xiaohongshu Dots Studio（arxiv:2610.13990） ・キー正規化を持つ最新モデルを潜在注意へ移す変換 — 復旦大学（arxiv:2610.17202） ・生徒が解けない問題だけでは、オンポリシー蒸留は効かない — ミュンヘン工科大学・国立情報学研究所ほか（arxiv:2610.18011） ・報酬への効き目でトークンごとに重みを付ける蒸留 — AWS AI Labs・UCSD・Purdue（arxiv:2610.14572） ▼ 参考論文（arXiv） https://arxiv.org/abs/2512.02556 — 注意を上位2048トークンに絞ったディープシークV3.2 https://arxiv.org/abs/2610.13990 — 索引器の上位k選択を厳密なまま省略する証明書方式 https://arxiv.org/abs/2610.17202 — キー正規化を持つ最新モデルを潜在注意へ移す変換 https://arxiv.org/abs/2610.18011 — 生徒が解けない問題だけでは、オンポリシー蒸留は効かない https://arxiv.org/abs/2610.14572 — 報酬への効き目でトークンごとに重みを付ける蒸留 #生成AI #LLM #DeepSeek #スパース注意 #MLA #蒸留 #arxiv #論文解説 #ゆっくり解説 #ずんだもん

  6. Oct 13

    Phi-3とTransMLA、蒸留の予算配分を問うAI論文5本【2026/10/14】

    Phi-3のデータ最適な小型モデル設計、GQAモデルをMLAへ変換するTransMLA、能力境界で1000例を選び直す推論蒸留、分岐ロールアウトのオンポリシー蒸留、サブリミナル学習の教師なし検出を、比較条件と限界まで解説します。 ▼ 今日の論文ラインナップ ・38億パラメータでスマートフォンに載るファイ3 — Microsoft（arxiv:2404.14219） ・学習済みモデルの注意をディープシーク型の潜在注意へ変換する — 北京大学ほか（arxiv:2502.07864） ・生徒の能力境界に合わせて1000問を選び直す推論蒸留 — 上海人工知能実験室ほか（arxiv:2610.13285） ・迷う位置で枝分かれさせるオンポリシー蒸留 — 清華大学・北京大学・SenseTime（arxiv:2610.13481） ・蒸留で無意識に移る性質を重みの更新から見つける — UCL・Spotify（arxiv:2610.13536） ▼ 参考論文（arXiv） https://arxiv.org/abs/2404.14219 — 38億パラメータでスマートフォンに載るファイ3 https://arxiv.org/abs/2502.07864 — 学習済みモデルの注意をディープシーク型の潜在注意へ変換する https://arxiv.org/abs/2610.13285 — 生徒の能力境界に合わせて1000問を選び直す推論蒸留 https://arxiv.org/abs/2610.13481 — 迷う位置で枝分かれさせるオンポリシー蒸留 https://arxiv.org/abs/2610.13536 — 蒸留で無意識に移る性質を重みの更新から見つける #生成AI #LLM #Phi3 #蒸留 #MLA #AI安全性 #arxiv #論文解説 #ゆっくり解説 #ずんだもん

  7. Oct 12

    Gemma 3とKV圧縮、教師の強さを問い直すAI論文5本【2026/10/13】

    Gemma 3の局所・大域注意、クロネッカー積によるKV圧縮、ReplaySSM、学習差分を渡すオンポリシー蒸留、批評条件付き自己蒸留を研究条件と限界まで解説します。 ▼ 今日の論文ラインナップ ・Gemma 3 Technical Report（arXiv:2503.19786） ・Kronecker Product Attention（arXiv:2610.12657） ・ReplaySSM（arXiv:2610.13778） ・相対方策差を転移するオンポリシー蒸留（arXiv:2610.13205） ・批評条件付き自己蒸留（arXiv:2610.13744） ▼ 参考論文（arXiv） https://arxiv.org/abs/2503.19786 https://arxiv.org/abs/2610.12657 https://arxiv.org/abs/2610.13778 https://arxiv.org/abs/2610.13205 https://arxiv.org/abs/2610.13744 #生成AI #LLM #Gemma #蒸留 #arxiv #論文解説 #ずんだもん

  8. Oct 11

    MistralとMoEルーター、オンポリシー蒸留の技能と知識を読む5論文 2026/10/12

    Mistral 7Bの窓付き注意、MoEルーターの確率写像と弾性的なTop-k、オンポリシー蒸留の原型GKD、技能は移るが新しい知識は移りにくいという対照実験を比較します。 ▼ 今日の論文ラインナップ ・Mistral 7BのGQAとスライディングウィンドウ注意（arXiv:2310.06825） ・疎な確率写像とMoE専門家数の関係（arXiv:2610.06677） ・Top-k境界を訓練時に揺らすElastic Expert Routing（arXiv:2610.11575） ・生徒自身の生成列で学ぶ一般化知識蒸留GKD（arXiv:2306.13649） ・オンポリシー蒸留が技能と知識を非対称に移す条件（arXiv:2610.09639） #生成AI #LLM #arxiv #論文解説 #蒸留 #Mistral #MoE #機械学習 #ずんだもん

See All (138)

About

arXivに投稿された生成AI最新論文を、ずんだもんと四国めたんが毎日わかりやすく解説します。音声合成: VOICEVOX / キャラクター: ずんだもん・四国めたん

Information