
构建强大应用的关键:大型语言模型的高级架构
在开发多用户使用的网站或应用时,构建多租户组件至关重要。这将确保每个用户的个性化体验和隐私保护。大型语言模型(LLM)提供商允许你根据每个请求选择使用哪种模型。例如,你可以在需要重要推理任务时使用GPT-4,然后使用GPT-3进行基本的文本操作或完成。
任务规划器是一个很好的方法,它可以获取用户的请求/目标,并使用模型将其分解为子任务。这将是一个持续的过程,随着用户完成目标,LLM可以用来扩展当前的任务和子任务,或者剪除不再需要的任务。
我们应该使用向量嵌入和向量数据库,而不是使用预训练的LLM知识。这将确保响应与你的应用和用例相关。通过使用语义搜索和处理上下文数据,你可以为每个提示语义地检索你的上下文数据的子集,从而提高效率,性能和降低成本。
记忆向量存储类似于上下文数据存储,但它是由应用程序以前使用过程中生成的LLM提示和响应对填充的。这里的目标是允许LLM参考以前的交互,以便将其个性化到用户并引导其正确的方向。
提示管理器可以接受一些属性并以正确的结构构建提示。响应管理器类似于提示管理器,但它将验证和验证响应。如果响应管理器不批准响应,那么它可以生成一个新的提示,附带拒绝的原因,并将其提交给LLM以获取新的响应。
通过设计正确的架构,利用具有不同能力的LLM池,并将它们固定到你的数据和上下文,你可以快速构建强大的应用程序。这些应用程序可能会克服LLM的限制,如响应时间,高成本,幻觉,并为你的用户提供可靠性。