芝大论文证明GPT-4选股准确率高达60%，分析师要下岗？AI大牛质疑数据污染
近期，一篇来自芝加哥大学的论文引起了业界专家们的广泛关注。该研究揭示，借助GPT-4进行的股票选择，不仅超越了人类投资者，还战胜了许多专为金融市场设计的机器学习模型。尤其令人惊讶的是，该语言模型能在缺乏上下文说明的情况下，精准解析财务报表中的数字信息。论文详细内容可通过链接查阅：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4835311。
研究指出，GPT-4在预测收益变动方面，相较于经验老到的金融分析师更为精准，尤其在面对那些常使人犯难、影响预测准确性的复杂情况时，AI展现出了显著优势。它所提供的预测并非单纯回顾训练数据，而是能够提出具有前瞻性的分析，预示企业未来的发展潜力。GPT-4的卓越表现体现在更高的夏普比率和阿尔法值上，获得了如沃顿商学院Ethan Mollick教授的高度评价，同时也引发了公众对股市操作主体是否会由人转为AI的讨论。
不过，这份研究也遭遇了质疑，部分研究者认为其成果可能是训练数据污染所致。知名AI专家田渊栋也推测，GPT-4的超常表现可能源于其接触到了未来股价信息，从而在针对2021年后股票样本的选择中表现出色。验证这一点的方法相对直接，即更改股票历史记录并进行测试。芝大论文证明GPT-4选股准确率高达60%，分析师要下岗？AI大牛质疑数据污染！
研究聚焦于如何利用大型语言模型(LLM)进行财务报表分析(FSA)，以此评估其在决策中的作用。FSA旨在理解企业财务状况及盈利能力的可持续性，需要深入分析数据趋势和比率，结合批判性思维和复杂判断，通常由专业金融分析师执行。实验中，GPT-4 Turbo的任务是在不提供任何文本信息的前提下，仅凭财务报表预测公司收益走势。尽管预期LLM因缺乏直觉、行业认知及复杂推理能力而表现不佳，但结果却令人意外——它不仅超越了人类分析师，还在某些情况下优于专门的神经网络模型。
为了确保客观性，研究采取了匿名化和标准化处理财务报表的步骤，避免LLM依据特定公司特征进行预测。通过精心设计的指令引导LLM模仿人类分析师的思考方式，分析财务数据并预测未来收益。研究选取了广泛的公司年度数据集，涵盖了1968年至2021年间，超过15000家公司，以及相应时期的分析师预测数据进行对比。
对于LLM的成功，研究团队提出了两种假设：一是GPT依赖其强大的记忆能力，二是它生成的分析见解具有实际价值。实验证明，后者更为关键，即GPT生成的分析叙述对未来收益具有预测性信息。此外，GPT的预测与基于其叙述训练的神经网络预测高度相关，表明这些叙述构成了预测基础，尤其是与比率分析相关的部分。
最终实验结果显示，GPT在预测收益方向上，特别是在模拟人类推理（CoT）的指导下，准确率达到了60%，优于人类分析师的平均表现。同时，GPT与先进的专用机器学习模型在预测精度上旗鼓相当，甚至在某些情况下略有超越。研究还发现，GPT和神经网络模型的预测具有互补性，两者在不同情境下各有千秋，且GPT在对特定类型公司的预测上显示出独特优势。
总结而言，该研究表明AI技术如GPT-4正推动金融分析领域的变革，虽然短期内人类的专业知识和判断仍不可或缺，但AI无疑将在提升分析效率和准确性方面发挥重要作用，预示着未来财务报表分析可能发生的深刻变革。
