王荣柴
8月 06， 2024 17：35
LangSmith 引入了动态小样本示例选择器，通过根据用户输入动态选择相关示例，从而提高 LLM 应用的性能。
LangSmith 推出了一项新功能，有望提高使用大型语言模型 （LLM） 的应用程序的性能。根据LangChain博客，该公司已经推出了动态的少样本选择器，作为其LangSmith平台的一部分。这项创新功能允许用户一键索引其数据集中的示例，并根据用户输入动态选择最相关的少数样本。
优化模型性能的挑战
小样本提示是一种广泛使用的技术，通过在模型提示中包含示例输入和期望的输出来提高模型性能。通常，开发人员使用 3-5 个示例来避免上下文窗口不堪重负。但是，随着应用程序复杂性的增加，可能需要数百甚至数千个示例来满足不同的用户需求。由于令牌成本和延迟增加，将如此大的数据集添加到每个请求是不切实际的。
微调通常被认为是处理大量示例的下一个最佳选择。虽然有效，但微调也带来了一些缺点，包括复杂性、使用新示例进行更新的困难，以及需要专门的基础设施和专业知识。此外，它缺乏为不同用户个性化示例的灵活性，使其不太适合快速迭代和个性化应用程序。
LangSmith 中的动态 Few-shot 示例
动态小样本提示允许根据用户输入选择最相关的示例，从而解决了这些挑战。该技术仍然使用一小群 3-5 个示例，但会动态选择它们，从而涵盖更广泛的选项并优于静态数据集。LangSmith 集成了此功能，以简化数据集管理并增强 LLM 应用程序的性能。只需单击一下，用户就可以索引其数据集并检索与新输入最相似的示例列表，从而更轻松地快速迭代和个性化应用程序。
与微调相比，动态小样本提示在技术上更简单，更易于保持更新，并且需要最少的专用基础设施。这种方法允许开发人员根据用户输入检索相关示例，从而实现应用程序的快速迭代和个性化。
目前，LangSmith 中的动态小样本提示处于封闭测试阶段，预计将于本月晚些时候公开发布。有兴趣的用户可以注册候补名单。有关如何使用动态小样本提示的更多详细信息，LangSmith 提供了详细的技术文档和视频演示。
图片来源：Shutterstock
