通过启发嵌入：系统提示贝叶斯优化的动态表示

arXiv:2605.19093v1 公告类型：新 摘要：系统提示是现代人工智能系统中的中央控制机制，塑造对话、任务和用户群体的行为。然而，当反馈仅作为聚合指标而不是每个示例的标签、失败或批评时，它们很难调整。我们将这种聚合反馈设置研究为离散、可变长度文本上的样本约束黑盒优化。我们引入 ReElicit，一个基于 \emph{通过启发式嵌入} 的贝叶斯优化框架。给定任务描述、先前评估的提示和标量分数，法学硕士会引出一个紧凑的、可解释的特征空间，并将提示映射到其中。利用概率高斯过程代理，采集函数选择目标特征向量，法学硕士将其实现并细化为可部署的系统提示。当新的评估到达时重新引出特征空间，使表示适应观察到的提示得分历史。我们使用离线基准准确性作为受控聚合代理来评估设置：优化器观察每个提示的一个标量分数，并且没有每个示例的标签、错误或批评。在具有 30 个总评估预算的 10 个系统提示优化任务中，ReElicit 在代表性的仅聚合提示优化基线中实现了最强的聚合性能概况。这些结果表明，LLM 可以作为自适应语义表示构建器，而不仅仅是提示生成器，用于自然语言工件的贝叶斯优化。