学术工作流程的法学硕士：对法学硕士的短和长上下文窗口生成的文献评论的评估

arXiv:2608.26145v1 公告类型：新 摘要：我们的研究重点是评估大型语言模型（LLM）的短上下文和长上下文设置中生成的文献评论，以研究上下文窗口对人工智能生成的文献评论质量的影响以及人工智能在支持文献评论写作中的作用。两位研究人员对 20 篇基于 Semantic Sc​​holar 和 Arxiv 研究来源的人工智能生成的文献综述进行了 15 个维度的评估。我们的研究结果表明，人工智能生成的文献评论需要人工监督才能满足学术出版标准。随着上下文窗口的增加，法学硕士可以纳入更广泛的信息并保持较长输入的连贯性，但它们也会加剧诸如内容重复、关键工作遗漏以及描述性而非综合性等问题。我们的工作表明，人工智能生成的评论可以提供基础概述，但其输出必须由领域专家进行严格评估和完善。未来的研究应考虑将不同领域的其他法学硕士和微调模型与人类专业知识与人工智能能力相结合的混合方法相结合，以解决本研究中发现的局限性。