大多数 LLM 在生产中的失败不是随机的 - 它们是可以预测的。 我不断遇到 JSON 损坏、无声故障以及导致整个应用程序冻结的中断。及时的工程没有修复它。 因此,我在模型之上构建了一个控制层,并将结构化输出可靠性从 0% 提高到 100%,而无需更改任何提示。
帖子提示工程还不够 - 我构建了一个可在生产中运行的控制层首先出现在迈向数据科学上。