史上最尷尬Prompt!甚麼是AI蒸餾模型? 大公司有沒有用| 好處壞處| 運作步驟| 問題類型| 解答方法| 學生模型和老師模型的規模

「蒸餾」（Distillation）一詞頻繁出現於AI相關新聞之中，由Google、OpenAI、Anthropic等主流大廠公開採用，到中國Moonshot AI旗下Kimi K3模型引發的跨國爭議，都與這項技術息息相關。蒸餾的概念最早見於2006年Rich Caruana等人提出的模型壓縮方法，並於2015年由多倫多大學學者Geoffrey Hinton聯同Oriol Vinyals及Jeff Dean在論文《Distilling the Knowledge in a Neural Network》中正式系統化。Hinton等人以昆蟲為喻：幼蟲階段專責吸收養分，成蟲階段則專責飛行與繁殖，兩者形態雖然不同，卻是同一生命歷程的延續。套用於AI領域，規模龐大、能力強勁的「老師模型」猶如吸收養分的階段，而體積輕巧、方便部署的「學生模型」則負責實際的應用與運算。 這次和大家分析一下什麼叫做蒸餾模型。

內容屬影片或文章作者個人意見，不代表本網站立場。本網站無法核實上述內容，包括但不限於文字、聲音及影像的真實性、準確性和原創性。