FinHot.

FINHOT / AI 与硬科技 / 论文研究

UIUC等提出Ask to Distill:将知识蒸馏从回答问题转向优化问题

机器之心

机器之心报道,UIUC等提出名为 Ask to Distill 的方法,将知识蒸馏从“回答问题”转向“优化问题”。文章称,大语言模型训练通常依赖更多高质量数据、更可靠标准答案和更强教师模型;近期 On-Policy Distillation(OPD,在线策略蒸馏)研究揭示,即使只使用很少的训练问题,也存在值得关注的现象。材料在此处截断,未展开具体方法、实验设置与结果。

信源原题:让大模型学会向老师提问:UIUC等提出Ask to Distill,让知识蒸馏从「回答问题」走向「优化问题」

阅读来源原文 ↗

摘要供资讯阅读参考,请核对原文。 反馈与更正 →

返回相关资讯 →