大模型agent开发之提示词选择器

有时候单一的提示词模版无法满足复杂的任务需求，因此需要结合选择器使大模型有更加准确的判断，尤其是在高度上下文依赖性的对话或生成任务时，动态的选择最合适的示例或者提示词时尤其重要。本文同样使用langchain组件开发多用选择器方法。

 

长度智能选择器

在langchain组件中LengthBasedExampleSelector是根据长度要求智能选择示例。这种方法专门用于根据文本长度来选择适当的示例器，这种方法适用于控制文本长度的场景，例如某些Api限制字符数的情况下。

 def base_length_choose_prompt(self,example_group,prompt):
        #example_group表示示例组，prompt表示提示词模板
        example_selector = LengthBasedExampleSelector(
            #传入提示词示例组
            examples = example_group,
            #传入提示词模板
            example_prompt = prompt,
            max_length = 25,
        )
        #使用小样本提示词模板来实现动态示例调用
        dynamic_group = FewShotPromptTemplate(
            example_selector = example_selector,
            example_prompt=prompt,
            prefix = "请根据给出的句诗取一个男孩和女孩名",
            suffix = "诗句:{adjective}\n男孩名:\n女孩名:",
            input_variables= ["adjective"]
        )
        return  dynamic_group

在本示例中引用了LengthBasedExampleSelector选择器，其中参数有example_group(提示词示例组)，prompt(提示词模板),max_length(最大长度)。返回一个选择器对象，然后使用小样本提示词模板来实现动态示例调用，并返回动态示例组，根据长度要求返回对应长度的示例组，最后将结果返回。

相似度选择示例器-最大边际相关性

MaxMarginalRelevanceExampleSelector也是langchain中的一个选择示例器，旨在根据最大边际相关性（MMR）原则选择示例器。MMR结合了相关性和多样性的原则多用于信息检索和文本生成的任务中。适用于，信息检索、推荐系统和多轮对话等任务中。

    def base_mmr_prompt(self,example_group,prompt,model_name='all-MiniLM-L6-v2',k=2):
        #使用SentenceTransformer 加载模型
        #自定义嵌入搜索
        embeddings = CustomEmbeddings(model_name= model_name)
        # mmr
        example_selector = MaxMarginalRelevanceExampleSelector.from_examples(
            #传入示例组
            example_group,
            # 使用自定义嵌入搜索
            embeddings,
            # 设置使用的向量数据库
            FAISS,
            k=k,
        )
        # 使用小样本提示词模板来实现动态示例调用
        mmr_prompt = FewShotPromptTemplate(
            example_selector = example_selector,
            example_prompt= prompt,
            prefix="请根据给出的句诗取一个男孩和女孩名",
            suffix="诗句:{adjective}\n男孩名:\n女孩名:",
            input_variables=["adjective"]
        )
        return mmr_prompt

这里同样的引用方式，只是从第二个参数开始变化，embeddings是嵌入式搜索对象，FAISS是2一种向量数据库，k是保留多样性示例数。这里同样使用小样本提示词模板实现动态示例调用。

相似性选择示例器-最大余弦相似度

SemanticSimilarityExampleSelector也是langchain中的一个选择示例器，用于基于语义相似度选择与输入最相关的示例。它使用嵌入模型计算输入与每个示例之间的语义相似度，然后选择最相似的示例。这种选择器特别适用于需要根据上下文找到最相关内容的自然语言处理任务。

 def base_chroma_prompt(self,example_group,prompt,model_name='all-MiniLM-L6-v2',k=2):
        embeddings = CustomEmbeddings(model_name=model_name)
        example_selector = SemanticSimilarityExampleSelector.from_examples(
            example_group,
            embeddings,
            Chroma,
            k=k,
        )
        #小样本提示词模板
        similar_prompt = FewShotPromptTemplate(
            example_selector= example_selector,
            example_prompt = prompt,
            prefix="请根据给出的句诗取一个男孩和女孩名",
            suffix="诗句:{adjective}\n男孩名:\n女孩名:",
            input_variables=["adjective"]
        )
        return similar_prompt

这里引用的方式和参数解释与MMR一样，只是向量数据库换成了Chroma,其他含义和模型与MMR一致。

总结

总的来说，在特殊场景和多轮对话中，使用选择示例器，可以动态的选择提示词模板，使大模型能够输出更加稳定和准确的答案。