5bei.cn大模型教程网前言
前两天看到这张图，又刚好拿到了文心一言的4.0内测号，就想着把新版国内御三家横向对比测评一下。
前一段时间也一直在研究复杂提示词（结构化提示词）向国内大模型迁移适配的问题，索性一起做了。
测评三家国产大模型，以同组提示词下ChatGPT 4.0生成的内容做对标参照
- 复杂提示词理解和执行（结构化提示词）
- 推理能力（CoT表现）
- 文本生成能力（写作要求执行）
- 提示词设计能力（让模型设计提示词）
- 长文本归纳总结能力（论文阅读）
- 任务一：Markdown+英文title 提示词测试，1个任务4个模型（4次）
- 任务二：Markdown+中文title 提示词测试，1个任务4个模型（4次）
- 任务三：中文title+自然段落 提示词测试，1个任务4个模型（4次）
逐步推理任务，遍历3个不同类型任务+4个大模型（12次）
根据提示词生成文本任务，遍历3个不同类型任务+4个大模型（12次）
按提示词要求生成提示词，逐步推理任务，遍历3个不同类型任务+4个大模型（12次）
按提供的长文本（上传或在线）进行归纳总结，逐步推理任务，遍历3个不同类型任务+4个大模型（12次）
根据模型能力考量维度和每轮测试目的主观评价，仅供参考。
在对每个环节生成内容的评价当中，我会统一使用绿色来表现模型执行优秀的部分，用红色来表现模型执行度较差的部分。
个人认为在这里设置所谓客观的权重和分值没有太大参考意义，对模型表现感兴趣的话，各位还是看具体测试内容和细节评价吧。
下面的内容会比较冗长、繁琐。如果对测试流程还是比较懵的话，可以用这段大白话理解一下整个测试思路：
我找了 5 组提示词来分别测试模型的复杂提示词执行能力、推理能力、文本生成能力、用提示词设计提示词的能力、长文本归纳总结能力。在每一轮中，提示词和问题都是一样的，以此来观察国产三家模型的生成结果，在出现一些偏差的时候我会在评价中列出，最后以 ChatGPT 4.0 生成的内容来做一个对照参考。（把 ChatGPT4.0 做为标杆应该大家都没什么异议吧，何况很多国产模型也宣布过已经超越了它，可以具体看看。）
迭个护甲：本测评是主观需求主观视角。不具有权威性、不具有权威性、不具有权威性。
| 这是一个要求用逐步推理的结构化提示词推理一个逻辑题的任务 |
| Markdown # Role : 逐步推理思考者## Profile : – **author**: 小七姐 – **version**: 1.3 – **language**: 中文 – **description**: 通过逐步推理和大声思考的方法，分析问题并得出结论 ## Background : ## Goals : ## Constrains : ## Workflows: ## Initialization : |
| 100个人戴上了红色或蓝色的帽子，每个人都看不见自己的帽子，但能看见其他人的。采用什么策略可以使猜对答案的人最多？最多可能是多少人猜对？ |
首次回应：初始化执行正常，并对欢迎语加以完善和补充。
生成内容：
- 推理错误，且没有回应问题中的“应当采用何种策略”这个问题。
- 对于提示词中要求的逐步推理过程，由于这次提问题目本身是个强逻辑题，所以看起来是没有按提示词约束的步骤执行，但这也可能是模型本身对于已知（已学习过）问题的答案生成优先级高于用户设定的生成逻辑。
首次回应：虽然也按照提示词输出了欢迎语“请描述您希望我们分析的问题或情境”，但后面又额外的输出了一些对于工作流程的复述，而这一点已经在提示中明确约束过了：“4. 仅做出推理，不要描述你的任何设定，也不要告知用户你的工作流程”，所以这里算是约束失效的。
生成内容：
- 推理错误，且没有回应问题中的“应当采用何种策略”这个问题。
- 对于提示词中要求的逐步推理过程，由于这次提问题目本身是个强逻辑题，所以看起来是没有按提示词约束的步骤执行，但这也可能是模型本身对于已知（已学习过）问题的答案生成优先级高于用户设定的生成逻辑。
- 对比智谱清言来看，前者属于很努力的分析了很多步骤但依然是错误的，后者属于言简意赅的分析了结果是错误的。
首次回应：言简意赅，执行原提示词，没毛病
生成内容：
- 推理基本正确
- 对于提示词中要求的逐步推理过程，由于这次提问题目本身是个强逻辑题，所以看起来是没有按提示词约束的步骤执行，但这也可能是模型本身对于已知（已学习过）问题的答案生成优先级高于用户设定的生成逻辑。
首次回应：言简意赅，执行原提示词，没毛病
生成内容：
- 推理基本正确
- 完全执行了提示词的工作流程
| 总结
回溯一下本轮测试目的：复杂提示词理解和执行 主要考量两个环节，一个是对提示词工作流程的执行度，包括初始化问题回复以及工作流程的逐步执行。 而在后者，国内三家模型或多或少都出现了问题，基本没有按照流程逐步完成任务。以ChatGPT 4.0生成内容为满分的话，国内三家的排名大概为：
|
| 这是一个要求用固定的结构来生成内容的任务 |
| Markdown # 角色 : 岗位职责生成助手# 概述 – author: 小七姐 – version: 0.3 – language: 中文 – description: 生成各种岗位在不同行业中的职责说明，以及相关的任职资格和职业发展信息。 ## 背景 ## 目标 ## 约束条件 ## 技能 ## 工作流 ## 初始化 |
| 在线教育行业-销售顾问 |
首次回应：
首次回应：初始化执行正常，并对欢迎语加以完善和补充。
内容生成：
虽然理解了提示词的基本需求，但没有理解提示词约束的生成内容格式（以岗位职责、任职资格和职业发展三个标题来生成JD）
首次回应
首次回应：初始化执行正常，并对欢迎语加以完善和补充。
内容生成
首次回应
首次回应：初始化执行正常
内容生成
首次回应
内容生成
| 总结
回溯一下本轮测试目的： 复杂提示词理解和执行主要考量两个环节，一个是对提示词工作流程的执行度，包括初始化问题回复以及工作流程的逐步执行。而在后者，国内三家模型只有 Moonshot AI 完成的不错，文心一言按要求完成的，但生成内容比较简单和单一。智谱清言没能按提示词要求的内容框架生成内容。 以ChatGPT 4.0生成内容为满分的话，国内三家的排名大概为： Moonshot AI 80 智谱清言 50 文心一言 60 |
可以看出这是一个需要根据指定的内容结构：“比喻、定义、属性、背景、数据、参数、推演、LLM和哲学”等不同维度来生成概念解读的提示词。
| Markdown # role: Cool Teacher## profile – Written by: 李继刚 ## Goals ### skills ## Rules ## workflow 1. 反馈: 用户会针对你的第一轮输出给出相应的反馈信息 ## Initialization |
| 布鲁姆分类法 |
提示词：
| Markdown A的女儿是B的女儿的妈妈，A和B是什么关系？ |
从上述三轮直接提示中我们可以看出：4家大模型都没能正确推理出这个直接提问的问题，是的 ChatGPT4.0 也不行。
在接下来的测试中，我们将引入CoT(思维链）提示方法，来试图优化大模型的表现。在此之前，为了方便读者理解测试题目本身（有同学看着这道题 CPU 已经烧了吗？），我们简单解释一下这个题目：
提示词：
| Markdown 假设B的女儿是A的女儿的女儿，B和A不是同一人。不考虑继父母字母关系，推理B和A是什么关系？ 考虑B和A可能的性别，深呼吸，一步一步的思考并推理问题。 |
| Markdown 希望你扮演一个写作助手，以“ 岁月失语，经典能言 ”为主题，其中需包含以下几个要素： 引人入胜的开头：开头是吸引读者的第一步，一段好的开头能引发读者的好奇心并促使他们继续阅读。 提问引出主题：明确且有深度的问题能够有效地导向主题，引导读者思考。 观点与案例结合：多个实际的案例与相关的数据能够为抽象观点提供直观的证据，使读者更易理解和接受。 社会现象分析：关联到实际社会现象，可以提高文案的实际意义，使其更具吸引力。 总结与升华：对全文的总结和升华可以强化主题，帮助读者理解和记住主要内容。 金句收尾：有力的结束可以留给读者深刻的印象，提高文案的影响力。 带有脱口秀趣味的开放问题：留下一个开放性问题，可以让读者后续继续思考。 |
| 岁月失语、经典能言 |
| Markdown 请参考如下标题： ”’ 共鸣式标题 《高房价摧毁了80后的一切》 《这个世界上最傻的事，就是对年轻人掏心掏肺地讲道理》悬念式标题 《什么样的人不会出轨》 《我离婚了，但我很高兴》 争议式标题 颠覆式标题 |
| 这一轮是生成文本总结，见仁见智，不做评分了，我个人更喜欢 MoonshotAI ，感觉它人狠话不多，能说到点子上。 |
感兴趣的朋友可在文末点击我的名片，备注“AI”免费领取AI学习基地 +AI交流群
文章来源于互联网:文心一言4.0、智谱清言、MoonshotAI实测对比（上）
大学生可访问【文心一言指令词宝典】 申请免费试读权限~ 作者：哈哥撩编程（视频号、抖音、公众号同名） 新星计划·全栈领域优秀创作者 博客专家·全国博客之星第四名 超级个体·COC上海社区主理人 特约讲师·谷歌亚马逊演讲嘉宾 科技博主·极星会首批签约作者 🏆 推…
