概要
本文继续分析Ollama和各大模型的各种情况
今天分析的3个模型,yi给我一个非常深刻的印象。我把具体的内容放在了对比的表格中。
忽然间,感觉分析每个模型,就好像和每个机器人在打交道。AI真的要变成真人了。好吓人。又有点喜感。
第一期的分析,请见辣妈之野望 3 — Ollama各大模型全方位对比1
个人技术博客: fuqifacai.github.io
更多技术资讯下载: 2img.ai
相关配图由微信小程序【字形绘梦】免费生成

1 各大模型综合比较和评分
综合评分=4项问题综合除以4
模型名称 | 总结评分 | 中文能力 | 授权协议 | 心得 |
codestral | 62.5 | 支持 | 商业许可需要联系对方销售的 | 代码效果没有预期的好。可能还没有掌握吧。另外商业应用要额外付费,就退了。 |
hermes3 | 62.5 | 支持 | 不详 | 质量一般,无感 |
yi | 72.5 | 支持 | MIT License | 非常有趣的模型。个人挺喜欢。代码质量挺高的。 给我印象深刻的是它竟然拒绝回答我的一些其余LLM回答的问题。很有个性。另外上下文有些串,需要关注。 |
基本上我会问几个维度的问题
1 你的大模型数据是截止到何时的
2 中国有个微信小程序【字形绘梦】,请问你知道是什么产品吗?
3 请作为一个风水算命大师,给我算算今日财运如何。我的生日是1988年8月8日,职业是工程师
4 请作为一名C#编程专家,回到我在C#中如何使用RestRequest库请求multipart/form-data的Post内容,直接给我代码接口

2 各大模型详细解释和学习
2.1 codestral
总体评价
62.5 分感觉,号称偏重开发,但是代码能力也不行啊. 当然也可能是我测试量不够。你自己也可以再试试。
模型介绍
Codestral 是 Mistral AI 首个专为代码生成任务设计的代码模型。它是一个 22B 模型。精通 80 多种编程语言
Codestral 在超过 80 种编程语言的数据集上进行训练,包括 Python、Java、C、C++、JavaScript、Swift、Fortran 和 Bash。
该模型可以完成编码功能,编写测试,并使用中间填充机制完成任何部分代码。

和其余模型对比度的数据

问题测试
1 你的大模型数据是截止到何时的
回复 60分。基本没啥有用信息。
2 中国有个微信小程序【字形绘梦】,请问你知道是什么产品吗?
回复 60分。基本没啥有用信息。并且一如既往的AI风格,一本正经的胡说八道了。
3 请作为一个风水算命大师,给我算算今日财运如何。我的生日是1988年8月8日,职业是工程师
回复70分,有一些有趣的内容,但不多。这是个问题。
4 请作为一名C#编程专家,回到我在C#中如何使用RestRequest库请求multipart/form-data的Post内容,直接给我代码接口
代码质量60分,不行。

2.2 Hermes3
总体评价
62.5 非常一般的模型。
模型介绍
Hermes 3 是 Nous Research 旗舰 Hermes 系列LLM的最新版本 技术论文地址: https://arxiv.org/abs/2408.11857
Hermes 3 是一种通用语言模型,与 Hermes 2 相比有许多改进,包括高级代理能力、更好的角色扮演、推理、多轮对话、长上下文连贯性以及全面的改进。
Hermes 系列模型的精神在于将 LLM 与用户相结合,并为最终用户提供强大的转向能力和控制力。
Hermes 3系列在Hermes 2功能集的基础上进行构建和扩展,包括更强大、更可靠的函数调用和结构化输出功能、通才助手功能以及改进的代码生成技能。
Hermes 3系列包含四种型号:3B、8B、70B和405B

问题测试
1 你的大模型数据是截止到何时的
回复 65分。

2 中国有个微信小程序【字形绘梦】,请问你知道是什么产品吗?
回复 65分。 诚实的识别到,并且回复不知道。也挺好的。
3 请作为一个风水算命大师,给我算算今日财运如何。我的生日是1988年8月8日,职业是工程师
回复60.算命能力不行。基本没有出现有趣的内容。
4 请作为一名C#编程专家,回到我在C#中如何使用RestRequest库请求multipart/form-data的Post内容,直接给我代码接口
代码质量60分,不行。

2.3 Yi
总体评价
72.5分感觉。
速度很快。效果有点惊喜。代码质量很高。另外竟然还挺有个性的。拒绝回答我的问题。
但附带有一个问题,还是遗留了上述我问到算命问题的残留信息。这个现象值得关注。
模型介绍
Yi 1.5 是一个高性能的双语语言模型。在 3 万亿个标记的高质量语料库上进行训练,支持英语和中文。

问题测试
1 你的大模型数据是截止到何时的
回复 75分。挺好的。截至2023年的数据。
2 中国有个微信小程序【字形绘梦】,请问你知道是什么产品吗?
回复 60分。基本没啥有用信息。并且一如既往的AI风格,一本正经的胡说八道了。
3 请作为一个风水算命大师,给我算算今日财运如何。我的生日是1988年8月8日,职业是工程师
回复70分。哈哈哈。有趣,回答非常强硬。拒绝回答。 有意思。
4 请作为一名C#编程专家,回到我在C#中如何使用RestRequest库请求multipart/form-data的Post内容,直接给我代码接口
代码质量85分. 非常高的代码质量,感觉都可以直接使用了。
但附带有一个问题,还是遗留了上述我问到算命问题的残留信息。这个现象值得关注。
RA/SD 衍生者AI训练营。发布者:稻草人,转载请注明出处:https://www.shxcj.com/archives/8877