当前位置: 首页 > news >正文

芜湖建设公司网站做网站后台用什么软件

芜湖建设公司网站,做网站后台用什么软件,福建建设科技人才网站,网络科技有限公司营业执照解决方案 把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。 在backend\open_webui\routers\openai.py中 找到 generate_chat_com…

解决方案

把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。

在backend\open_webui\routers\openai.py中 找到 generate_chat_completion 这个函数

r = Nonesession = Nonestreaming = Falseresponse = None

下方 增加截获函数 这个方案适用于 火山 百炼 vLLM我没试过,但是思路是一样的,根据vLLM返回的chunk内容,把reasoning的部分贴到content中去就能正常显示了。

async def modify_stream_content(original_stream):start_reasoning = Trueend_reasoning = True# 逐块处理流式内容async for chunk in original_stream:# 示例:修改 chunk 内容(假设 chunk 是 JSON 字符串)try:# 1. 解码字节流为字符串decoded_chunk = chunk.decode('utf-8').lstrip('data: ').strip()# 2. 解析 JSON(根据实际格式调整)chunk_data = json.loads(decoded_chunk)# 3. 修改内容if "choices" in chunk_data and len(chunk_data["choices"]) > 0:delta = chunk_data["choices"][0].get("delta", {})# print(delta)if delta["content"] == None:delta["content"] = ""if "reasoning_content" in delta and delta["reasoning_content"] == None:delta["reasoning_content"] = ""if delta["content"] == "":if start_reasoning:delta["content"] = "<think>" + delta["content"] + delta["reasoning_content"]start_reasoning = Falseelse:delta["content"] = delta["content"] + delta["reasoning_content"]else:if end_reasoning:delta["content"] = "</think>" + delta["content"]end_reasoning = False# print(delta)# 4. 重新编码为字节流modified_chunk = f"data: {json.dumps(chunk_data)}\n\n".encode('utf-8')except (json.JSONDecodeError, KeyError) as e:# 处理错误(可选:记录日志或跳过)modified_chunk = chunk  # 保留原始数据# 5. 返回修改后的 chunkyield modified_chunk

在下方,if "text/event-stream" in r.headers.get("Content-Type", ""): 分支里。调用截获函数并返回

 # Check if response is SSEif "text/event-stream" in r.headers.get("Content-Type", ""):streaming = True# 调用截获函数modified_stream = modify_stream_content(r.content)return StreamingResponse(# r.content,modified_stream,status_code=r.status,headers=dict(r.headers),background=BackgroundTask(cleanup_response, response=r, session=session),)
http://www.yayakq.cn/news/461097/

相关文章:

  • 珠海哪个公司建设网站好对网站做维护
  • 常用的网站开发语言有哪些有了源码怎么搭建网站
  • 专业的网站建设宝安西乡手机优化系统
  • 做房地产一级市场的看什么网站江苏艺居建设有限公司网站
  • 怎么编写一个网站wordpress git
  • 专业建网站的学校建筑公司网站源码下载
  • 长治市郊区住房建设局网站公司网站建站公司
  • 如何做网站管理维护地推
  • 百度上推广一个网站该怎么做外贸公司系统管理软件
  • 网站建设鞍山郑州网站推广公司电话
  • 做薪酬调查的网站dedecms 网站迁移
  • 上海轨道交通建设查询网站网站备案 哪个省最松
  • 制作企业网站的步骤网站怎么做网盘
  • 刮奖网站姓名域名网站
  • 网站建设中网站需求分析报告功能保定网站设计公司排名
  • 网站域名登想学室内设计在哪里学比较好
  • 网站模块建设建议网络故障维修
  • 网站搭建代理南昌网站建设设计
  • 南京网站制作案例沈阳网站制作策划
  • 建网站哪个公司好程序员 修电脑 做网站
  • 大型旅行社自建网站无代码编程的应用场景
  • 上海移动网站建设google关键词挖掘工具
  • 云程环境建设集团网站wordpress作者权限
  • 襄阳网站seo公司网站建设项
  • 网站建设套模板wordpress获取当前页地址
  • 红河科技公司 网站建设《语文建设》网站
  • 网站软文制作网络公司注册流程及费用
  • 网站开发常遇到的问题有哪些织梦dedecms5.6 网站搬家详细教程
  • 做前端网站要注意哪些河南郑州新闻头条最新事件
  • 运营服务商官方网站做dnf辅助网站