AI大模型教程
一起来学习

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型

前言

多模态交互离不开硬件载体,近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型,能不能接入文心一言通义千问、豆包、智谱glm、kimi等国内的大模型,这个是必须支持的。但由于各家接口和数据格式不一样,有些朋友直接参考chatgpt的方式没有走通,因此本篇以聆思CSK6大模型开发板接入文心一言为例,分享具体的接入步骤,大家按照文档步骤操作即可。

由上图可见,当前SDK方案是把开发套件当做输入端,文字或图片内容先上传到聆思的大模型平台(LSPlatform),然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能,我们如果要使用其他大模型,只需要从云端更改大模型接入节点,而无需去修改硬件端。

实物演示

文心一言

链路说明

  • 链路1: 可通过inject节点调用文心一言节点,并将结果输出到debug1。
  • 链路2: 可通过web对话页调用文心一言节点,最终将大模型结果输出到对话页面上。
  • 链路3: 可通过开发板调用文心一言节点,最终将大模型输出的结果进行语音合成实现端侧播报。

    云端服务接入文心一言

    1创建应用

    登录LSplatform创建新应用

    创建成功后在弹出的界面进入应用编排服务。

    2导入工程

    1. 下载工程示例:文心一言示例.json
    2. 导入工程示例:选择文心一言示例.json文件导入

    若提示“您要导入的某些节点已经存在于工作空间中。”,则选择“导入副本”即可。

    3配置参数

    参数说明:

    4、部署验证

    在完成参数配置,进入完整体验之前,我们可以简单测试验证,验证是否成功调用文心一言。

    • 部署成功后关闭当前编排服务

    • 重启应用

    • 测试接口

    重启应用后再次点开编排应用点击时间戳(注入节点),会触发一次文心一言子流程调用,标记2红框输出类似日志代表成功建立链接

    • 打开web验证页面

    回到我的应用双击思CSK6_文心一言应用,在弹出的应用详情页面点击右上角分享按钮打开web验证配置配置包含测试地址和访问密码。

    • 访问web验证页面链接,打开的web即可与文心一言对话

    大模型开发板接入文心一言

    云端接入文心一言成功后聆思CSK6大模型开发板进行语音交互,需要对接文心一言云端服务指定开发板绑定

    1、创建产品

    产品管理模块点击新建产品按钮,并按要求填写你的产品名称。

    2、云端应用和云端产品信息绑定

    配置你需要调用的大模型应用,完成配置后,用户即可体验文心一言与开发板交互。在此我们仅需在配置应用勾对文章第一步创建的应用即可。

    3、云端应用设备列表加入硬件设备ID

    读取设备id

    设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互。

    读取方式:

    cskburn desktop是一款聆思推出的桌面烧录工具,下载地址(cskburn桌面烧录工具 | 聆思文档中心)打开软件后

    1.点击串口下拉框,选择连接开发套件后识别到的串口编号;

    2.点击获取信息

    3.得到设备ID

    加入设备列表

    聆思平台只会对列表中的设备鉴权提供交互服务,因此需要将前面读取到的设备ID在设备管理页面进行导入才能实现设备正常交互。

    4、CSK6开发板设备端写入云端产品服务配置

    云端配置设备id后,需将产品ID写开发板固件,才能让设备运行找到正确云端产品服务进行鉴权鉴权完成就可以进行大模型语音交互了

    写入方式:

    使用数据线连接开发板 DAP_USB 接口后,打开聆思在线串口终端,选择对应的串口设 备进行连接,波特率默认115200,完成配置后点击连接按钮。

    通过 aiui set product_id aiui set secret_id指令可以分别配置开发板接入的大模型应用 product ID 及其密钥,示例如下:

    aiui set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f

    aiui set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218

    product_idproduct_secret 可在对应产品的产品信息中获取,请将指令中的参数替换为产品信息中的 id 与 secret 信息。

    • 语音交互

    小美小美唤醒,并提问你是谁,语音回复它是文心一言即可验证成功至此,可以确认文心一言接入成功。本文使用的聆思CSK6模型开发板详细信息可参考线上文套件简介 | 聆思文档中心

    ————————————————————————————————–

    简介

    介绍了如何使用聆思CSK6大模型开发板接入文心一言做一个可以语音交互的AI助手

    当前方案是把开发套件当做输入端,交互内容先上传到聆思的大模型平台(LSPlatform),然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能,我们如果要使用其他大模型,只需要从云端更改大模型接入节点,而无需去修改硬件端。

    首先,需要在LSplatform上创建新应用并导入文心一言示例工程(工程文件可以从附件文档中获得)

    然后配置包括HOST、AK/SK、Model和Stream等参数部署验证成功后,将云端服务与产品配置绑定

    在云测试页面交互返回如上图信息就可以在CSK6开发板设备端写入云端产品服务配置,修改固件即可实现语音交互。

    本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。套件简介 | 聆思文档中心

文章来源于互联网:手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型

相关推荐: 【人工智能】百度文心一言智能体:AI领域的新里程碑

人不走空                                                                              🌈个人主页:人不走空       💖系列专栏:算法专题 ⏰诗词歌赋:斯是陋室,惟吾德馨 目录  …

赞(0)
未经允许不得转载:5bei.cn大模型教程网 » 手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型
分享到: 更多 (0)

AI大模型,我们的未来

小欢软考联系我们