国际人工智能顶级会议NeurIPS2024（The Thirty-Eighth Annual Conference and Workshop on Neural Information Processing Systems，神经信息处理系统大会）于今日公布录用结果。我院应用统计专业2022级硕士研究生高红福（导师：张飞鹏教授），作为第一作者撰写的论文“On the Noise Robustness of In-Context Learning for Text Generation”被正式接收。论文合作单位来自南方科技大学、南京大学等著名高校或研究机构。NeurIPS是机器学习和计算神经科学领域的国际顶级会议，也是中国计算机学会（CCF）推荐的A类会议。这是我院在读学生首次在NeurIPS上发表论文，是我院师生在大语言模型研究的新成果，也是我院复合型综合人才培养的新成效。

大型语言模型（Large Language Models，LLMs）通过上下文学习（In-Context Learning，ICL）在下游任务中表现出了令人印象深刻的性能，但依赖于从大量注释示例中选择的示例质量。尽管以往研究表明在文本分类中上下文学习对噪声示例具有稳健性，但该论文验证了噪声示例会严重地损害大语言模型在文本生成任务中上下文学习的能力。为此，该论文提出一种简单且有效的方法，局部困惑度排序（Local Perplexity Ranking，LPR），通过将潜在的噪音示例替换为最近邻的潜在干净示例，从而提升大语言模型上下文学习的噪音稳健性。LPR方法的核心思想是，通过在Token空间中对候选示例及其最近邻进行排序来解耦匹配困惑，LPR既可避免原有示例选择方法选择噪音示例，又保持原有示例选择方法的有效性。大量实验证明了LPR的有效性，在具有噪声注释的常见基准上，提高了EM得分高达18.75。

论文链接： https://arxiv.org/pdf/2405.17264