当前位置:首页 » 《随便一记》 » 正文

Java-基于okhttp请求SSE接口流式返回

5 人参与  2024年02月11日 08:51  分类 : 《随便一记》  评论

点击全文阅读


最近在开发跟大模型相关的业务,需要用java去请求大模型的对话接口并支持流式的返回,变用到了sse接口。首先介绍一下什么是SSE,SSE ( Server-sent Events )是 WebSocket 的一种轻量代替方案,使用 HTTP 协议。

严格地说,HTTP 协议是没有办法做服务器推送的,但是当服务器向客户端声明接下来要发送流信息时,客户端就会保持连接打开,SSE 使用的就是这种原理。

一、SSE 能做什么?

理论上, SSE 和 WebSocket 做的是同一件事情。当你需要用新数据局部更新网络应用时,SSE 可以做到不需要用户执行任何操作,便可以完成。

这种技术通常用于实现实时更新、通知和事件驱动的应用程序,例如实时聊天、股票市场更新、新闻通知等。

二、SSE vs. WebSocket

SSE 是单向通道,只能服务器向客户端发送消息,如果客户端需要向服务器发送消息,则需要一个新的 HTTP 请求。这对比 WebSocket 的双工通道来说,会有更大的开销。这么一来的话就会存在一个「什么时候才需要关心这个差异?」的问题,如果平均每秒会向服务器发送一次消息的话,那应该选择 WebSocket。如果一分钟仅 5 - 6 次的话,其实这个差异并不大。

在浏览器兼容方面,两者差不多。在较早之前,每当需要建立双向 Socket 时就会使用 Flash,在 移动浏览器不支持 Flash 的情况下,WebSocket 的兼容是比较难做的。

SSE 我认为最大的优势是便利,实现一个完整的服务仅需要少量的代码;可以在现有的服务中使用,不需要启动一个新的服务;可以用任何一种服务端语言中使用;基于 HTTP / HTTPS 协议,可以直接运行于现有的代理服务器和认证技术。有了这些优势,在选择使用 SSE 时就已经为自己的项目节约了不少成本。

三、下面来写一下如何用java调用sse接口

我们可以借助okhttp来实现,首先引入okhttp-sse的依赖:

  <dependency>       <groupId>com.squareup.okhttp3</groupId>       <artifactId>okhttp-sse</artifactId>       <version>4.12.0</version>   </dependency>

调用代码如下:

        OkHttpClient client = new OkHttpClient.Builder()                .connectTimeout(10, TimeUnit.SECONDS)                .writeTimeout(50, TimeUnit.SECONDS)                .readTimeout(10, TimeUnit.MINUTES)                .build();        EventSource.Factory factory = EventSources.createFactory(client);        // 请求体        HashMap<String, Object> map = new HashMap<>();        map.put("prompt","哈喽,你好");        map.put("history", Arrays.asList());        map.put("temperature",0.9);        map.put("top_p",0.7);        map.put("max_new_tokens",4096);        String json = JsonUtil.objectToString(map);        RequestBody body = RequestBody.create(MediaType.parse("application/json; charset=utf-8"),json);        // 请求对象        Request request = new Request.Builder()                .url("http://localhost:8001/chat")                .post(body)                .build();        // 自定义监听器        EventSourceListener eventSourceListener = new EventSourceListener() {            @Override            public void onOpen(EventSource eventSource, Response response) {                super.onOpen(eventSource, response);            }            @Override            public void onEvent(EventSource eventSource, @Nullable String id, @Nullable String type, String data) {            //   接受消息 data                super.onEvent(eventSource, id, type, data);            }            @Override            public void onClosed(EventSource eventSource) {                super.onClosed(eventSource);            }            @Override            public void onFailure(EventSource eventSource, @Nullable Throwable t, @Nullable Response response) {                super.onFailure(eventSource, t, response);            }        };        // 创建事件        EventSource eventSource = factory.newEventSource(request, eventSourceListener);

3.运行效果

"""你" "你好""你好?""你好?!""你好?!很高兴""你好?!很高兴见到""你好?!很高兴见到你""你好?!很高兴见到你,""你好?!很高兴见到你,欢迎""你好?!很高兴见到你,欢迎问我""你好?!很高兴见到你,欢迎问我任何""你好?!很高兴见到你,欢迎问我任何问题""你好?!很高兴见到你,欢迎问我任何问题。"

点击全文阅读


本文链接:http://zhangshiyu.com/post/68095.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1