LLM最全「怪癖」首曝光！马里兰OpenAI等30 学者祭出75页提示报告

近期，一项由来自马里兰大学、OpenAI、斯坦福大学、微软等12家机构的30多位研究者合作的研究成果，揭示了大型语言模型（LLM）提示技术的全面景象。他们发布了一篇长达75页的报告，详细探讨了这一领域的现状。报告深入分析了4797条相关记录，最终筛选出1565篇论文，构建了一套分类体系，包括33个专业术语、58种文本提示技术和40种其他模态的提示技术。LLM最全「怪癖」首曝光！马里兰OpenAI等30 学者祭出75页提示报告。

提示技术，简单来说，是指导如何构建和调整提示以引导AI生成特定响应的方法。研究过程中，研究团队发现了一些LLM的奇特行为。例如，重复提示中的某些内容竟然能提升模型表现；提及具体人名相较于匿名或虚构名称更能提高准确性；以及示例的选择和排列顺序对模型输出有着显著影响，甚至能导致结果准确率的巨大波动。此外，研究指出，结合代码进行推理的方式显示出了巨大的潜力，尽管目前尚未广泛采用。

研究还概述了三大类提示技术：基于文本、多语言和多模态。文本提示技术中，研究详细介绍了少样本提示、零样本推理及各种策略，如自我追问、思维链（CoT）等，这些方法能显著改善模型在处理复杂任务时的表现。多语言提示技术则关注如何跨越语言障碍优化提示，而多模态提示技术则探索了图像、视频等非文本信息如何与文本提示结合，以增强模型的推理能力。

通过一项针对Reddit帖子中自杀危机综合症标注的案例研究，研究者展示了提示工程在实际问题解决中的应用，不仅提高了模型的识别精度，还体现了人类专家与自动化技术相结合的重要性。整个研究过程遵循了严格的PRISMA审查流程，确保了数据收集和分析的科学性和可靠性。

总之，这份报告不仅系统化地整理了现有的提示技术，还揭示了LLM的一些非直观反应，强调了未来研究中需要关注的方面，为生成式AI的发展提供了宝贵的洞见。LLM最全「怪癖」首曝光！马里兰OpenAI等30 学者祭出75页提示报告。