S2E37 AI 的「小」革命：小型語言模型才是未來？

加入頻道會員，解鎖更多專屬福利：

👉 https://www.youtube.com/channel/UCJIPFjZSCWR15_jxBaK2fQQ/join

雖然大家都在追求「越大越好」的 AI 模型，但真正讓 AI 普及、走進每個人生活的關鍵，可能是那些「小」到能在你手機上跑的模型。

Google、Meta、微軟甚至蘋果，都在默默佈局小型語言模型。它們更快、更便宜、更懂特定領域，甚至在某些任務上已經超越大模型。

這集我們就來聊聊：

🤖 為什麼小模型可能才是 AI 普及的關鍵？

⚙️ 小模型是怎麼被「蒸餾」出來的？

💡 MiniLLM 為什麼有時能打敗老師？

📱 當 AI 可以在手機上運行，Nvidia 的 GPU 還會是主角嗎？

🏁 蘋果的「混合模式」策略，會不會是最後的贏家？

🎧 如果你也好奇 AI 的下一場戰爭，不是在雲端，而是在你手上，這集你一定要聽。

🔗 《矽谷輕鬆談》傳送門 👉 https://linktr.ee/jktech

(00:00) 開頭

(01:05) 小型語言模型有什麼特點？

(03:36) 成本省近百倍？這才是真正的關鍵

(04:33) 什麼時候該用大模型 vs 小模型？

(06:20) 小孩子才做選擇：我大小模型都要！

(07:27) 或許蘋果才是最後的贏家？

(08:37) 深入解析小模型訓練核心：蒸餾是什麼？

(10:28) 進階蒸餾：讓學生模型學會「思考機率」

(11:21) MiniLLM 蒸餾法：只學最有用的部分

(12:31) 模型怎麼變小、推論又能更快？

(14:17) 手機也能跑 AI？GPU vs NPU 大比拼

(15:43) 原來你的手機早就有 NPU 了

(16:33) 黃仁勳爸爸出馬：GPU 才是王道！

(17:12) 反對陣營回嗆：NPU 已經夠用了