AI大模型教程
一起来学习

实操聆思CSK6大模型开发板接入文心一言(上)

前言

多模态交互离不开硬件载体,近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型,能不能接入文心一言通义千问、豆包、智谱glm、kimi等国内的大模型,这个是必须支持的。但由于各家接口和数据格式不一样,有些朋友直接参考chatgpt的方式没有走通,因此本篇以聆思CSK6大模型开发板接入文心一言为例,分享具体的接入步骤,大家按照文档步骤操作即可。

由上图可见,官方当前SDK方案是把开发套件当做输入端,文字或图片内容先上传到聆思的大模型平台(LSPlatform),然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能,我们如果要使用其他大模型,只需要从云端更改大模型接入节点,而无需去修改硬件端。

实操接入文心一言

1. 新建应用

登录LSplatform,新建一个空应用,进入应用编排服务。

2. 导入工程
  1. 下载工程示例:文心一言js(提取码:qaxd)
  2. 导入工程示例:选择文心一言js.json文件进行导入。

3.  配置参数

1.修改文心一言子流程节点参数,双击文心一言子流程节点,可以看到可配置的参数,这里主要需要修改API-KEY Host Model Stream等参数,修改完成后点击完成即可。

配置参数

(1)API-KEY:调用aip.baidubce的access_token(文心一言需要用access_token鉴权访问调用api,获取方法:获取access_token – 千帆大模型平台 | 百度智能云文档

(2)Host:可通过百度云文档来查看所要调用模型的Host ERNIE-4.0-Turbo-8K – 千帆大模型平台 | 百度智能云文档

(3)Model:提供ERNIE-4.0-Turbo-8K(ERNIE-4.0-Turbo-8K为付费模型)可选择,可自行添加更多模型选项 计费管理 – 千帆大模型平台 | 百度智能云文档

(4)Stream:是否流式返回

文心一言子流程节点默认封装了访问aip.baidubce的v1/wenxinworkshop/chat/ernie-4.0-turbo-8k接口(子流程中接口后的access_token=[调用接口所用的access_token]),若需要调用aip.baidubce其他接口则需要修改子流程节点代码。

 

  1. 修改Prompt节点提示词内容(可选),根据需要修改提示词的内容。

4. 部署验证

在完成参数配置,进入完整体验之前,我们可以简单测试验证,验证是否成功调用文心一言。

(1)部署应用

部署成功以后先关闭当前编排服务

(2)重启应用

由于导入的工程示例中导入了axios包,需要重启以确保应用依赖的包完成安装。重启完成以后重新进入编排服务。

(3)测试接口

点击注入节点,会触发一次文心一言子流程调用,观察调试节点输出日志是否正常。

       至此,可以确认文心一言接入成功。如果要在硬件上验证文心一言的交互效果可以借助聆思官方提供的聆思CSK6大模型开发板,绑定开发板硬件的操作可以参考官方文档: 云端应用接入 | 聆思文档中心

聆思CSK6大模型开发板接入文心一言的完整流程可参考手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型-CSDN博客

文章来源于互联网:实操聆思CSK6大模型开发板接入文心一言(上)

相关推荐: ESP32-S3百度文心一言大模型AI语音聊天助手(支持自定义唤醒词训练)【手把手非常详细】【万字教程】

简介 此项目主要使用ESP32-S3实现一个AI语音聊天助手,可以通过该项目熟悉ESP32-S3 arduino的开发,百度语音识别,语音合成API调用,百度文心一言大模型API的调用方法,音频的录制及播放,SD卡的读写,Wifi的配置(smartconfig…

赞(0)
未经允许不得转载:5bei.cn大模型教程网 » 实操聆思CSK6大模型开发板接入文心一言(上)
分享到: 更多 (0)

AI大模型,我们的未来

小欢软考联系我们