wordpress全站cdn ssl网站成本费用

Redis Vector Library (RedisVL) 简化AI应用开发

几个月前，Redis推出了Redis向量库（RedisVL），以简化人工智能（AI）应用的开发。自那时起，我们引入了强大的新功能，支持大规模的语言模型（LLMs）。RedisVL是专为使用Redis进行AI操作而设计的Python客户端库。从redisvl版本0.3.0开始，它提供了：- 优化工具用于构建生成式AI应用，基于我们领先的向量数据库。- 存储和检索聊天历史记录的大型语言模型内存（LLM memory）。- 语义缓存，以节省LLM成本并加速响应。- 语义路由，将用户请求发送到最佳工具、模型或知识库。对于构建生成式AI应用的开发者来说，RedisVL旨在抽象并简化许多构建现代AI应用所需的组件。Redis以其速度和简易性著称，我们在GenAI时代继续发扬这一优势。我们的向量数据库是我们测试过的最快之一，但我们同样致力于使其易于构建。我们知道，开发者必须处理许多AI工具，并编写自定义代码以使这些工具协同工作。借助RedisVL，我们提供了一套有倾向性的命令集，使您能够专注于您的应用，从而更快地构建。### 使用LLM内存记住聊天上下文#### 问题LLMs本质上是无状态的，它们不会记住之前的互动。这意味着即使是最新的提示也会被立即遗忘。大多数在线聊天机器人可以回答后续问题，例如“告诉我更多关于那个”，或者“你能详细说明吗？”这是因为解决方案是在每次后续查询时提供完整的聊天历史记录。这确保了LLM有足够的上下文来回应。当您自己构建LLM应用时，这种会话管理成为您需要处理的责任。#### 解决方案解决方案是使用带有语义相关的聊天历史记录的部分内容。通过利用语义相似性，我们可以确定对话中哪些部分最相关于当前的查询。这种方法减少了令牌数量，节省了成本和时间，并可能因为只包含相关上下文而得到更好的答案。我们可以通过利用文本嵌入模型将文本编码成向量，然后使用Redis向量相似性搜索来找到与最新提示最相似的向量，从而量化用户查询和对话历史记录部分之间的语义相似性。在代码示例中，SemanticSessionManager类允许设置距离阈值，添加消息以及获取与新提示语义相关的上下文。当调用get_relevant方法时，它返回与提示语义相关的消息列表。pythonfrom redisvl.extensions.session_manager import StandardSessionManagerchat_session = SemanticSessionManager(name='student tutor')chat_session.set_distance_threshold(0.35)# 添加系统角色信息和一系列对话消息chat_session.add_message({"role": "system", "content": "你是一位地理导师，简短回答有关欧洲国家的问题。"})chat_session.add_messages([ {"role": "user", "content": "法国的首都是什么？"}, {"role": "llm", "content": "首都是巴黎。"}, # 更多对话...])prompt = "我学到了英格兰的大小是什么？"context = chat_session.get_relevant(prompt)for message in context: print(message)### 使用语义缓存减少LLM成本和延迟#### 问题许多应用程序用户可能会反复问同样的问题。在这种情况下，如果LLM每次都计算相同的响应，显然是浪费资源。#### 解决方案为了提高LLM系统的性能，我们可以应用缓存技术。对于重复的问题，直接返回缓存的响应而不是每次都调用昂贵的模型来提供相同的答案是有意义的。然而，并非所有提示都是完全相同的，我们需要一种方法来比较那些以略微不同方式提问但含义相同的问题。这就是语义缓存的作用。语义缓存利用文本嵌入模型将每个查询转换成高维向量，这个向量是查询的数值表示，可以用来比较句子的语义含义。使用Redis的向量数据库，我们将用户查询和LLM响应对存储起来，并在每次新查询时执行向量相似性搜索，以找到我们已经有答案的语义相似问题。对于像“谁是英国的国王？”和“谁是联合王国的君主？”这样的语义相同的问题，可以直接返回缓存的响应。下面是一个简单的聊天循环例子，展示了如何在LLM工作流中加入Redis语义缓存。在实际应用中，首次接收到新响应后，不要忘记将其添加到缓存中以便下次使用。pythonfrom openai import AzureOpenAIfrom redisvl.extensions.llmcache import SemanticCacheclient = AzureOpenAI()cache = SemanticCache()while True: prompt = input("请输入您的问题：") if cache_hit := cache.check(prompt): print(cache_hit[0]["response"]) continue response = client.chat.completions.create( model='gpt-35-turbo', messages=[{"role": "user", "content": prompt}], ).choices[0].message.content cache.store(prompt=prompt, response=response) print(response)超快的内存数据库可以在几分之一的时间内提供响应，相比LLM所需的时间大幅减少。它们还可以显著降低托管和调用LLM的财务成本。语义缓存的好处是巨大的。每次缓存命中都意味着少了一次对LLM的调用，这不仅节省了成本，也节省了时间，因为LLM响应时间通常以秒计，而缓存查找可以在毫秒内完成。研究已经表明，超过30%的用户问题是语义上相似的，可以由缓存提供服务。