NotionNext BLOG

体验完阿里的EMO模型，我emo了

Sat, 27 Apr 2024 00:00:00 GMT

一、唠嗑

近日，阿里宣布通义千问研发的AI模型—EMO模型正式上线通义千问App，并开放给所有用户免费使用。

简单来说，EMO（Emote Portrait Alive）是一个AI肖像视频生成系统，能够通过输入单一的参考图像，生成具有一定表现力的面部标签和各种头部姿态。

（话说，是不是开发人员搞AI模型太痛苦了，所以才取了这个名字，哈哈😄）

二、如何体验

首先是需要先下载通义千问App，但这个功能并没有在界面展示出来，需要手动输入 “EMO” 关键词出发

进入主页面后，可以发现目前主要有两个功能，一是全民舞王，二是全民唱演

三、全民舞王体验

全民舞王利用的是一种AI生成3D骨骼的技术。这种技术能够自动学习3D模型的形状和动作，并根据学习到的模型参数实现动画骨骼控制。

简单来说，比如你有这样一个模型

通过这种技术，能够自动给它画上骨架，这样AI就能控制它做一些动作了

目前看得话，全民舞王生成的效果还是比较逼真的，比如看这个真人女孩：

注：本视频来源于通义千问EMO首页视频，侵权删

我体验的时候，为了避免侵权，使用的是AI生成的一个全身机器人，最终的效果如下，感觉还是不错的，这是照片：

这是视频：

四、全民唱演体验

全民舞王利用的是一种口唇同步的技术，这是一种让画面人物的口型与所配的语音或文字信息精确匹配的技术。这项技术能够使画面人物在说话时，其嘴唇的动作与发出的声音同步，从而在视觉和听觉上为观众提供一种更加自然和逼真的体验。

目前在开源界，比较出名的口唇同步框架是 wav2lip，如果是自己部署的话，会比较麻烦，搭环境估计都得折腾个几个小时，很容易在 opencv 的版本上踩坑。

wav2lip 支持两种模式，第一种是根据 视频+音频 的方式生成口唇同步的视频，第二种就是根据 图片+音频 的方式生成口唇同步的视频，也就是全民唱演这种方式。

从理论上来说，视频+音频 的方式肯定是比图片+音频 的效果要更好，因为他相当于是每一帧画面都进行了口唇调整，所以整体效果肯定更好（需要注意的是，使用wav2lip 需要保证视频里面的每一帧都是人脸）

下面看看全民唱演的效果：

可以看到，全民唱演的效果目前还不是很理想，还是很容易就看出是AI生成的，因为你可以看到只有嘴巴周围的部位在动，其他地方是几乎没动的。

五、潜在的风险

虽然科技能带来进步，但它带来的风险同样不可忽视！

第一就是散布虚假信息，因为通过这些技术，可以创建看似真实的视频，但其中的人物或角色说出他们实际上并未说过的话，这可能被用于误导公众、诽谤个人或散布虚假新闻，即所谓的“深度伪造”。

第二就是普通人被诈骗的可能性提高，之前在B站看过一个视频，讲述就是一对母女通过微信视频通话，但是与之通话的女儿其实不是真实的，大家感兴趣可以看看

https://www.bilibili.com/video/BV1bQ4y1t7rc/

第三就是侵犯他人的隐私，比如之前沸沸扬扬的数字人复活”已逝亲人”，特别是有些人在未经允许的情况下“复活”了一些明星，给他们的家人又带来了痛苦。

总之，技术是一把双刃剑，希望我们每个人都能利用它好的部分！

Llama3 + CrewAI + Groq 实现邮件智能客服

Fri, 26 Apr 2024 00:00:00 GMT

一、唠嗑

如果说AI的到来，哪个行业最有危机感，我觉得电商客服应该是榜上有名的。目前像淘宝、京东其实也是先用AI客服进行回复，客户不满意才使用人工客服，从而达到降本增效的目的。

而本次，就是使用 Llama3 + CrewAI + Groq 实现一个小的邮件智能客服，即实现邮件的一个智能回复。这里也要说明下，关于用程序代码读取邮件，发送邮件的操作，此次并没有说明，主要是着重讲述AI这块。

二、技术栈剖析

此次主要涉及三个核心技术，分别是 Llama3、CrewAI 和 Groq 。

Llama3 是一个Meta最近刚发布的开源大模型，一共有 Llama3-8B 和 Llama3-70B两个型号，关于它的详细介绍，我在之前的《关于Llama 3 AI大模型的几点总结》有过说明，这里不再赘述。

CrewAI 则是基于LangChain 开发的一个开源Agent框架，旨在编排和协调多个自主AI Agent进行团队合作。

Groq 是一家初创公司，但同时也是AI芯片领域的一匹黑马。Groq之所以爆火，是因为他们推出了一款全新的 AI 芯片 LPU（Language Processing Unit），宣称做到了“地表最强推理”——在 Groq 上运行大模型的推理速度，较英伟达 GPU 提高 10 倍，而成本只有其十分之一。

Groq的成本是否真的能降低那么多我不太清楚，但是它的推理速度是真的快！我自己实测的话大概每秒能达到300Token，相比之下，ChatGPT-3.5每秒生成速度仅为40个token，速度这块直接秒杀！

本次的核心流程其实也非常简单，就是通过将邮件回复拆成三个步骤，分别是邮件分类、信息检索和邮件总结回复，每一个步骤由Llama3完成，Groq主要是一个提供API的作用，最后使用CrewAI编排这三个步骤即可。

三、项目实战

3.1 注册`Groq`账户

实现上面的智能客服，第一步我们需要注册一个Groq的账号，注册完毕后跳到这个页面申请一个 API Key

需要注意的，这一步需要魔法辅助，并且API Key只会展示一次，所以记得保存！

目前 Groq 是有免费版本的，只不过在调用方面有一定限制，但是也足够我们进行简单的测试了

3.2 创建Agent

在 CrewAI 中，Agent就是一个我们设定的角色，它能够为我们执行任务，做出决策并与其他Agent进行通信。

如果你用过Coze或通义千问，这玩意其实就是Coze的AI Bot，以及通义千问里面的智能体。

前面提过，我将邮件回复拆成三个步骤，分别是邮件分类、信息检索和邮件总结回复，这其实就分别对应三个Agent。

为什么要拆成三个Agent，而不是一个Agent搞定呢？

我个人的看法是，如果你的步骤或者提问越精细，则AI的准确率会越高，一个Agent的话，AI要干的事情太多，不一定能给出一个很好的答案。

3.2.1 邮件分类Agent

将邮件分类的目的是方便AI根据不同分类提供不同的话术，下面会讲到。

Agent参数解析如下：

role：Agent扮演的角色

goal：Agent的目标

backstory：为Agent提供背景

llm：Agent使用什么大模型

verbose：调试开关，如果为True，表示查看CrewAI执行时的详细信息

allow_delegation：是否允许将任务委派给其他Agent

max_iter ： Agent执行任务的最大迭代次数

memory：是否允许Agent拥有“记忆”

step_callback：回调函数

3.2.2 信息检索Agent

这个Agent比上面的多了一个 tool 参数，这个参数的作用是指定Agent可以使用的工具。

因为在邮件回复中，有一些内容可能涉及网络内容检索，而这里的 search_tool 其实就是一个网络检索工具，使用的是 DuckDuckGo 浏览器的检索功能。

3.2.3 邮件回复Agent

这里其实就凸显出拆分成多个Agent的好处，可以根据不同的邮件分类，使用不同的回复方式。

3.3 创建Task

在 CrewAI 中，Task就是把任务分配到对应的Agent，Task里面封装了Agent执行该任务所需的所有信息，可以简单理解为我们平时输入的提示词（会更完整）。

3.3.1 邮件分类Task

Task参数解析如下：

description：本次任务描述

expected_output：本次任务期待输出什么内容

output_file ：输出到文件

agent ：由哪个Agent完成

这里我们强调只输出一个分类，可以避免AI生成太多无关内容

3.3.2 信息检索Task

这里比上面多了一个参数：context，这就是我们常说的上下文，因为在这一环节，信息检索任务需要根据前面得到的邮件分类进行特定内容的检索

3.3.3 邮件回复Task

3.4 任务编排

完成上面的步骤后，再通过Crew实现一个Task和Agent的编排，整体功能基本就大功告成了！

3.5 实际效果

我的邮件内容如下：

执行之后的效果如下：

第一个任务，Llama3模型会把邮件归到 customer_feedback 分类，总体还是准确的

执行第二个任务，可以看到这里进行了一个检索，问“how to respond to positive customer feedback”，也就是“如何回应客户的积极反馈”

执行第三个任务，可以看到最终回复如下：

整体翻译过来就是：

可以看到整体的效果还是OK的！

3.6 一些不足

首先第一点就是这只是一个比较基础的例子，单纯为了方便大家理解如何通过 AI 实现智能回复，它并不是一个可以实际投入使用的成品。

第二就是大家可以看到它是使用英文回复的，这是因为Llama3大部分是使用英文语料训练的，如果需要中文回复的，就得更换其他大模型了

四、小小总结

本次采用 Llama3 + CrewAI + Groq 实现了一个小型的邮件智能客服，从回复的内容看，整体效果还是OK的，希望对这方面感兴趣的朋友有一些启发。

关于这个案例的源码，公众号回复“智能客服”即可获取完整源代码，最后如果本文对你有所帮助的话，希望多多点赞支持！

利用Coze工作流生成文章封面

Sat, 20 Apr 2024 00:00:00 GMT

一、铺垫

因为平常写文章比较多，并且微信公众号是强制你要有文章封面的，虽然封面可以在一些图片网站，比如Unsplash上寻找，但现在是AI时代，而且AI绘画的技术也比较成熟了，所以自然是希望AI为我们打工了。

目前AI绘画比较出名的有Stable Diffusion、DALLE和Midjourney等，Stable Diffusion 是开源免费的，但需要你的电脑有一张显卡，DALLE 和 Midjourney 则是需要付费。

综合考虑，我最终选择白嫖Coze的文生图功能，它目前是支持 Stable Diffusion 和 DALLE 插件的。

二、创建AI Bot

我们先从最简单的 AI Bot搞起，具体的创建流程这里就不赘述了。

这是我最初创建的AI Bot，主要用到了三个插件，分别是 Notion 和前面提到的两个文生图插件。

用Notion插件是因为我的文章是用它管理的，我的想法是直接输入一个Notion链接，让AI读取里面的内容，并最终用文生图插件生成封面。

使用这个插件需要先授权才能读取到内容

起初这个Notion插件还是成功运行的，并生成了几张图片，但后面再运行的时候就报错了

三、创建工作流

上面的AI Bot 存在两点问题，一是Notion插件不稳定，这个我后续更换成了知识库的形式；二是你每次生成封面的时候都得输入一遍提示词，这对于想偷懒的我不太能接受，所以我就想创建一个工作流提高这个步骤的效率，并顺便熟悉下Coze的工作流如何使用。

3.1 工作流基础知识

第一，每个工作流都有一个开始节点和结束节点，最后一个节点必须是结束节点

第二，节点之间可以相连，从而下一个节点可以获取上一个节点内容，或者上上节点的内容

第三，开始节点和结束节点之间可以嵌入基础节点、插件、其他工作流

第四，如果使用条件节点，也就是If-else，else节点必须也得连到其他节点，就是说else也得有结果，不能空着

不然你可能会收到类似的错误

第五，如果想要完整地调试整个流程，可以点击右上角的 Test Run 按钮；如果想单独调试某个节点也可以，点击该节点上面的启动图标即可（某些节点如条件节点是不支持的）

调试之后，可以点击旁边的Show Result查看结果（这点做得真不错，很方便）

第六，工作流发布

请注意，工作流发布之后才能被自己和他人所使用，而且如果你再次对工作流进行修改后，必须 Test Run 成功后才能再次发布。

详情参考官方文档：

Coze - Coze 文档中心

https://www.coze.com/docs/guides/workflow?_lang=zh

3.2 第一版工作流

因为是第一次使用工作流，所以也踩了一点坑，我一开始的工作流是这样的

1.开始节点：传入 notion_link 参数

2.Notion插件获取内容：Notion插件根据 notion_link 链接获取内容

3.获取图片宽度：这是因为我想指定图片宽度

4.获取图片高度：这是因为我想指定图片高度

5.调整图片宽高：这是图片宽高是从Bot里面提取的，不一定存在，所以需要用代码调整并赋予默认值

6.LLM输出提示词：大模型根据第2步的内容输出提示词

7.SD文生图：根据第5步得到的宽高和第6步得到的提示词生成图片

8.结束节点：输出第7步的结果

这里需注意的是，SD有两个版本，如果是v1.0 版本，只支持指定尺寸；如果是 v1.6 版本，则宽高尺寸范围在 [320, 1536] 之间，默认是512。（默认使用 v1.6 版本）

但这个版本有两个问题，一是Notion插件不稳定，用过一次后就无法再获取内容了，提示 “Server Internel Error”，二是 Stable Diffusion 生成的图片没有预想的好，文字很模糊，类似下面这张图，所以就有了第二版

3.3 第二版工作流（最终版）

由于第一版的两个问题，最终改进后的版本如下：

1.开始节点：传入 unit_name 参数，这是知识库Unit的名称

2.知识库匹配内容：根据前面的 unit_name 匹配对应的Unit

3.获取图片宽度：这是因为我想指定图片宽度

4.获取图片高度：这是因为我想指定图片高度

5.调整图片宽高：这是图片宽高是从Bot里面提取的，不一定存在，所以需要用代码调整并赋予默认值

6.LLM输出提示词：大模型根据第2步的内容输出提示词

7.DALLE3文生图：根据第6步得到的提示词生成图片

8.结束节点：输出第7步的结果

这里也有几个注意点，第一是如果使用DALLE3，第3，4，5步其实可以略过，因为DALLE3不支持自定义宽高（我这里保留是方便后续修改）

第二就是你在用LLM的时候，记得在提示词那里引用输入内容，不然LLM不知道你输入了什么内容

四、如何使用上述工作流

为什么我在标题上说这是一次不太成功的尝试呢，是因为虽然这个工作流看起来能用，但是只能给自己用，不能给别人用（很尴尬，后面才发现的）

因为工作流里面的知识库其实就是个小型数据库，它适合的场景应该是获取某些特定的知识，而不是像我一样，只是为了分析总结生成提示词（如果后面官方能指定别人的知识库就很Nice了）。

我自己用的话效果如下（需要把文章先上传到知识库）：

如果内容不存在，会提示这个：

如果想看我的工作流实现的朋友，可以在工作流搜索：EasyCover

五、总结

虽然这是一次不那么成功的尝试，但好在也趁这个机会了解了Coze工作流的具体玩法，总体不亏。如果大家有什么好的改进想法，或者对工作流有什么不懂的，也可以下方留言！

Pika：吊打Haipper的AI文生视频工具(附提示词)

Sat, 13 Apr 2024 00:00:00 GMT

一、日常唠嗑

今天分享的是另外一款AI文本生成视频工具：Pika！

我们之前其实分享过另外一款AI文本生成视频工具：Haiper，但使用Pika之后，我发现Pika远比Haiper更加强大！

简单说下Pika的背景，它是由两位斯坦福大学博士生创立的，而且是两位美女，因为她们觉得制作视频太难了，所以开发了这个工具

注：CEO Demi Guo（左）, CTO Chenlin Meng（右）

由她们组成的初创公司目前已通过三轮融资迅速筹集了 5500 万美元，前两家公司由 GitHub 前首席执行官纳特·弗里德曼 (Nat Friedman) 领导，最新的一家公司是 Lightspeed Venture Partners 投资的 3500 万美元 A 轮融资，对 Pika Labs 的估值在 2 亿至 3 亿美元之间。

废话不多说，我们来看看Pika到底有哪些令人惊艳的功能！

地址：https://pika.art

二、基础文生视频

首先来到最基本的环节，这里使用和之前Haiper类似的提示词，看看Pika的效果会不会好一些

提示词：

生成的视频：

Pika默认生成3秒的视频，而Haiper是2秒/4秒的视频，生成的效果个人觉得稍微比之前的Haiper好一点，但这个比较主观，所以这个基础环节两者打成了平手

三、视频时间延长

Pika有一个功能是在原来的基础视频上增加4s的时长，而且是可以不断叠加的，在这一点Pika完胜Haiper！

这是加长到11s之后的视频，因为视频长度的增加的缘故，看起来更舒服一点，不会一下子就结束了，但是后面的延长感觉效果不是很理想，而且也变模糊了

需要注意的是，视频延长这个功能是会员才有的！所以为了测试它这个功能，我也是含泪充了一个月的会员 🥲

这里也说下Pika的付费机制，基础版是免费的，一共有250初始积分，一个3秒的视频大概是消费10积分（不含音频），一旦初始积分用完，每天会补充30积分（还是很良心的）。

Pika一开始是不支持音频的生成的，这个也是最近才推出的，生成一个音频消耗2积分，所以算下来，保底能生成20个视频，足够你体验一把了。其他的就不在详细说明了，大家可以看图了解。

四、强大的视频编辑

Pika除了视频能够延长这一点让人惊艳外，它的视频编辑功能也比较强大，不像haiper生成之后就只能重新生成。

如上图，Pika的视频编辑一共有四个子功能，分别是：

Modify region：对某一个区域重新修改

Expand canvas：修改尺寸比例

Lip sync：口唇同步

Sound effects：生成音效

4.1 Modify region

关于这个功能，我尝试将飞船外部的黄色涂漆替换为红色，但是效果很差，没法达到预期

后面看了官方教程的演示，他们是把视频中的某个动物替换为另一个动物，所以我也将提示词中的 spaceship 替换为 UFO，最后效果如下，只能说勉强过关吧

4.2 Expand canvas

这个功能是修改视频的尺寸比例，但看它的官方教程，这个除了裁剪，还会对剩余的部分进行一个重绘。

下面是官方的案例，右边是原视频，左边是将视频比例缩小后生成的新视频，可以看到动物缩小后背景部分变多了，并且变多的部分进行了一个重绘而且风格是接近的

我也尝试对上面的太空飞船进行一个尺寸修改，但是效果也不理想，后面才想到Pika对这类主题并不擅长，它比较擅长的应该是动物，动漫这类风格，这个在它放出来的案例视频也能看得出来。

所以在后续的测试我重新生成了一个功夫熊猫视频，提示词如下：

最终生成的初始视频如下：

默认生成的视频是 16:9，为了测试Expand canvas这项功能，我使用了 9:16 和 5:2 两种比例重新绘制，效果如下：

从 16:9 变成9:16，上下多出了很多空间，所以Pika直接把熊猫的上半身画出来了，感觉可以打个80分

从 16:9 变成5:2 ，左右多出了一部分空间，效果也还可以

4.3 音效生成

音效的生成，可以选择输入提示词，也可以选择不选，由系统生成，最后Pika会生成三段音效并让你选出最合适的那段

这是我生成的音效，感觉这个这个功能适合没有人物、动物的视频，比如汽车、风景这类

4.4 口唇同步

口唇同步也有两种方式，一种是用系统声音，一种是直接上传mp3/mp4，系统声音支持的音色还蛮多的，但感觉有一个可以改进的是，可以标注下哪些音色属于男性，哪些属于女性，这样不用一个个点开来听

这是我最终生成的效果：

五、如何写提示词

在体验 Haiper、Pika 之后，感觉文生视频跟文生图一样，写提示词都是个技术活。

这里有几点建议，希望可以帮到你

1、套用之前文生图的提示词

虽然一个是生成视频，一个是生成图片，但是在描绘物品，景别的时候用的提示词都是类似的，比如我上面的功夫熊猫就是直接套用文生图的提示词。

这里也有一些提示词可以参考：

正向词：Masterpiece（杰作）、4K、Best Quality（最佳质量）、Highdetailed（高度精细化）

反向词：bad quality（质量差）、distorted（失真）、blurry（模糊）、grainy（颗粒感）、low resolution（低分辨率）、oversaaturated（过度饱和）、lack of detail（缺乏细节）、inconsistent（不一致）、ugly（丑陋）、erratic fluctuation in motion（运动不稳定波动）

2、增加运动的提示词

视频相比于图片往往多了一些运动元素，如果你不告知运动相关的提示词，它可能不会生成任何内容。比如“硬币落下并弹跳"比仅仅写"一堆硬币"更具体有效。

这里也有一些提示词可以参考：flying（飞）、running（跑步）、speaking（说话）、a man jumps in the air（跳起来）、a man does a skateboard trick（滑滑板）、flying upwards into the air（向天空飞去）

3、增加镜头的提示词

这部分也很重要，视频会涉及到从远到近不同角度的切换，合适的提示词也会使视频效果更佳。

这里也有一些提示词可以参考：

Zoom In（放大）、Zoom Out（缩小）、Dolly Zoom（往远处推动变焦）、Dynamic Zoom（动态变焦）

Slow motion（慢镜头）、Time-lapse photography（延时摄影）

Video take from a plane（无人机跟拍）、Camera tracking（快速跟拍）、follow car driving（汽车跟拍）、POV from behind（后面的视角）、Wide Angle（广角）、Bird's Eye View（鸟瞰视角）

最后来个浅浅的总结，本次主要体验了Pika的文生视频、视频延长以及四种视频编辑功能，从功能上是比Haiper丰富的，价格上目前Haiper免费占优。

其次就是生成对象上面，Pika对于动漫、动物的描绘效果要更好，从上面太空飞船的案例也可以看出。

最后大家看了我上面的测试，可能感觉Pika也没那么厉害，但我想提醒的是，AI文生视频其实和文生图是类似的，生成的随机性比较强，也被别人戏称为抽卡，而我上面展示的大多数第一次抽取的结果，并不是很能代表Pika实际的生成效果，毕竟想抽出一个好的视频并不容易！

感谢大家的观看，如果觉得这篇文章对你有用，还请多多点赞支持！

Ollama: 本地构建大模型利器

Sun, 07 Apr 2024 00:00:00 GMT

一、什么是Ollama

Ollama是一个简明易用的本地大模型运行框架，可以方便用户在自己本地计算机快速运行大模型，大部分代码由Golang编写。

项目地址：https://github.com/ollama/ollama

项目官方：https://ollama.com/

二、为什么有Ollama

之所以有 Ollama，还得从 Llama 和 llama.cpp 讲起。

Llama是由Meta AI发布的开源大语言系列模型，完整的名字是Large Language Model Meta AI。Llama这个单词本身是指美洲大羊驼，所以社区也将这个系列的模型昵称为羊驼系模型。

Llama1按照模型参数量的大小分为四个型号：Llama1-7B、Llama1-13B、Llama1-30B与Llama1-65B。而在2023年7月之后，MetaAI 发布了 Llama2，有三个型号，分别是：Llama2-7B、Llama2-13B、Llama2-70B。

这里的B是billion的缩写，指代模型的参数规模。故最小的模型7B包含70亿个参数，而最大的一款65B则包含650亿个参数。

这是羊驼系列模型的基准测试对比

Llama 大模型的获取需要填写一份在线表单，同意Meta AI的协议之后，才能收到他们发送的下载链接

简单介绍了Llama之后，让我们把思绪转到llama.cpp 这里。

llama.cpp 一开始是 Llama 大模型的纯 C/C++ 版本（Inference of Meta's LLaMA model (and others) in pure C/C++），但是现在也支持其他大模型，比如Mistral 7B、Mixtral MoE 等。

llama.cpp 的好处是可以降低大型语言模型（LLM）的运行成本，并使得这些模型能够在各种硬件上运行（并且运行得更快），包括在没有GPU的设备上，也就是只有纯CPU的设备也能运行！

llama.cpp 具有以下特性：

广泛的硬件支持：llama.cpp 是由纯 C/C++实现的，这意味着它可以在多种硬件平台上运行，目前支持的平台有：Mac OS、Linux、Windows (via CMake)、Docker 和 FreeBSD

简化设置和操作：llama.cpp 的目标是最小化设置，使得用户能够在本地和云端以最先进的性能进行LLM推理。它通过提供没有依赖项的纯C/C++实现来简化安装和使用过程

高效的性能：通过支持不同位宽的量化（例如1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit, 和 8-bit），llama.cpp 能够加快推理速度并减少内存使用。这使得在资源有限的设备上运行大型模型成为可能。

优化特定架构：llama.cpp 为Apple Silicon提供了特定的优化，并且针对x86架构提供了AVX, AVX2和AVX512的支持，这进一步提高了模型在这些架构上的性能

可以说，因为 llama.cpp，促进了本地大模型的快速发展！

💡

补充知识点：什么是量化？要理解量化，需要从大模型的参数讲起。大模型的参数通常存储为浮点数，大多数大模型都使用 32 位浮点数，也称为单精度。然而模型的有些层可能也采用不同的精度级别，比如16位。我们来进行一个简单的数学计算： 8位 = 1字节 32位 = 4字节考虑一个7B的模型，也就是参数有70亿个，假设这个大模型使用 32位浮点数存储，那么总内存为：4字节 * 70 亿 = 280亿字节，也就是约等于 28GB。这意味着使用该模型需要 28 GB 的内存容量。但对于个人计算机，其实很难达到28GB！目前大部分8-16GB 而量化就是降低大模型参数精度的过程，也可以简单理解为将模型压缩！ 使用量化后，会将32位浮点数转为4位的整数，虽然这种行为可能会稍微影响模型性能，但是却大大降低了存储模型所需的内存消耗！如果对上面的模型进行4位量化，量化后的模型就变成： 4 / 8 字节 * 70 亿 = 35亿字节，约等于3.5GB！

让我们最后把思绪再绕回 Ollama 这里，之所以有 Ollama，是因为当你想使用 llama.cpp 时，其实也比较麻烦，因为你要获取模型权重、克隆项目代码、执行模型量化、设置环境变量、构建可执行文件等。

而Ollama就是为了简化 llama.cpp 部署而诞生的，并且提供了类似OpenAI的API接口和聊天界面，可以很方便地使用不同模型。

三、运行Ollama

3.1 安装

如果是Mac系统，需要下载对应的安装包，而如果是Linux的话，执行下面这条命令即可

值得注意的是，上面的 install.sh 只适用于Linux，就算执行了也没关系，脚本有系统检测。

不管是安装包还是 install.sh，本质上都是往系统安装 ollama 二进制文件，并且启动 ollama 服务。

安装完毕之后，使用 version 命令检验是否成功安装

如果你是用Docker安装的，则 ollama 服务有可能起不来，这时候用 version 命令提示这个

3.2 运行

这里以 llama2-chinese 模型为例，该模型是 Llama 2 对话中文微调参数模型，基于 MetaAI 所发布的 Llama 2 Chat 开源模型来进行微调。

由于 Llama 2 本身的中文对齐比较弱，开发者采用了中文指令集来进行微调，使其具备较强的中文对话能力。目前这个中文微调参数模型总共发布了 7B，13B两种参数大小。

默认的 latest Tag下载的是7B的，如果想下载13B的，命令需换为：

下载还是蛮快的

其他模型可以在 Ollama Library 找到。

3.3 测试

执行 ollama run llama2-chinese 命令会启动一个输入框，可以在这里填入Prompt

还可以通过 API 的方式调用

关于Ollama 的API功能，官方提供了一份Markdown文档：

地址：https://github.com/ollama/ollama/blob/main/docs/api.md

关于Ollama的各种界面工具，也可以在其官方项目上查看，这里不再赘述。

做了一个自动上传文件到Coze的小工具

Tue, 02 Apr 2024 00:00:00 GMT

一、背景

相信大家最近应该都听过Coze，我之前有一篇文章《字节AI大杀器：Coze》也提到过它，简单来说它是由字节跳动出品，是一款用来开发新一代 AI Chat Bot 的应用编辑平台。

Coze里面有个知识库的功能，它跟目前很火的检索增强生成（RAG）技术类似，主要作用就是提高回答的准确性，我之前也出过几篇文章对其进行系统的讲解，有兴趣的可以看我的主页。

之所以有这篇文章，是因为最近在使用知识库这个功能的时候遇到了一些不便

1、TXT格式的文件每次最多上传10个

如果你的语料比较多，每次又只能上传10个，如果有1000份文件，则要上传100次，感觉想想都头皮发麻

2、Excel表格每个单元的字符最大是1024个字符

因为Coze支持上传的方式其实还是比较多的，既然上传TXT有数量限制，那就换个思路，把TXT的内容整合到一份Excel表格，再进行上传，但是很快就打脸了，如果你每个单元的内容太长，超过1024个字符，则会上传失败

虽然Coze还支持API等方式，但我也不想一个个试，要是其他方式也有限制就太麻烦了，所以就想着能不能自己实现一个自动上传的小工具，先放下最终效果

二、技术选型

由于之前有Python相关经验，而自动化这块Python的Selenium比较出名，所以最终敲定的技术栈是Python3 + Selenium

注：系统是Ubuntu

2.1 安装 chromedriver

由于太久没接触有些生疏，当我把 Selenium 启动的代码敲下去之后，发现并没有调起Chrome浏览器，后面才明白是 chromedriver 驱动没安装

注：没安装驱动的时候会一直等待

安装前需要先确定本机Chrome浏览器的版本，两者的版本一定要匹配！

浏览器输入: chrome://version/

我一开始是安装网上教程去下载安装，但是它提供的网址并没有和我版本一致的驱动，所以我就下了一个低一点的版本，版本号是 114.0.5735.90

下载并解压后，执行下面的命令就行

但随后就栽了跟头了，发现版本不对Chrome浏览器起不来

后面就去了官网看了说明，原来网上博客提供的地址是给老版本使用的

最新的版本chromedriver驱动在这里下载：

https://googlechromelabs.github.io/chrome-for-testing/

因为上面的地址列举的是最新版本，并没符合我的浏览器版本的驱动，所以抱着试一试的心态，但结果还是不行

后面灵机一动，把最新版本链接中的版本替换为我的版本，结果还真的可以！

https://storage.googleapis.com/chrome-for-testing-public/121.0.6167.184/linux64/chromedriver-linux64.zip

再次执行上面的安装命令，随后就能正常启动了

三、项目实战

项目总体的思路还是蛮简单的，就是遍历本地文件，然后找到Coze的各个按钮的xpath路径，然后一路执行就行。

3.1 本地文件读取

首先是读取配置文件里的路径，然后使用Python的文件函数列举出文件夹下面的所有文件（注意这里不会遍历子文件夹，偷懒了），最后再筛选出特定后缀的文件，因为Coze目前只支持 TXT、PDF、Doc、Docx 这四种

3.2 调起Chrome浏览器

我们一般使用这行代码调起Chrome浏览器

但这种方式，每次重新调起Chrome浏览器的时候，之前的登录态都会丢失，所以Coze每次都得重新登录，非常麻烦，所以这里把登录数据存本地了，这样就不用每次都得登录

3.3 打开Coze的知识库主页

注意是这个页面

代码里面的get方法就是打开这个页面，然后模拟 Add unit 按钮的点击事件

3.4 模拟剩余的上传操作

剩下的这些代码就是模拟点击Add unit 按钮之后的一些操作，比如上传文件，各种Next按钮的点击等。

这里有个要说明的是，由于Processing阶段Coze是异步处理的，所以你可以不用等进度条完成才点Confirm按钮（所以我代码就是最多等待10秒）

四、一些注意事项

4.1 代码执行

由于我这里并没有提供图形化界面，所以可能对小白不太友好，如果了解过Python的应该就能很快上手，因为需要装各种环境和依赖啥的

4.2 每个知识库最大支持100个unit

这个也是我试出来的，感觉有点低，所以我在代码里面也加了判断，如果超过100个文件，是不会执行的

这个感觉是Coze的Bug，明明最大是100个，但是提示是300个

4.3 页面等待时间

因为HTML里面的元素要等页面渲染完才会出现，所以我里面每一步都有一个等待时间，但这个时间不一定是适用全部人的。

Selenium里面有个方法可以等待元素渲染完才执行（WebDriverWait），但是我并没有每一步都使用这个方法（还是偷懒了）

Selenium 设置元素等待的三种方式_driver.implicitly_wait-CSDN博客

文章浏览阅读7.3k次，点赞6次，收藏23次。Selenium 设置元素等待的三种方式 1. sleep 强制等待 2. implicitly_wait() 隐性等待 3. WebDriverWait（）显示等待三种方式的优缺点1. sleep 强制等待 from selenium import webdriverfrom time import sleepdriver = webdr..._driver.implicitly_wait

https://blog.csdn.net/Gscsd_T/article/details/102837046

4.4 记录已经上传的文件和失败的文件

由于不能保证代码就一定能执行成功，有时候会由于一些奇奇怪怪的问题导致找不到元素，然后就没办法执行下一步了，所以代码里面也记录失败的文件名，已经增加已经上传文件的过滤

可以抓包 https://www.coze.com/api/memory/knowledge/list_dataset 接口，里面有返回已经上传的文件名

4.5 XPath 路径问题

由于我是根据XPath方式定位HTML元素的，所以如果Coze前端页面改了样式，大概率就会出现找不到对应元素的问题，如果遇到这种问题，大家记得更新XPath路径

4.6 源码获取

关于源代码的获取，在公众号回复“Coze上传”就可以得到全部源码链接！

最后如果这个工具能帮到你的话，还请多多点赞，你的点赞是我不断更新的动力！

NotionNext BLOG

体验完阿里的EMO模型，我emo了

一、唠嗑

二、如何体验

三、全民舞王体验

四、全民唱演体验

五、潜在的风险

Llama3 + CrewAI + Groq 实现邮件智能客服

一、唠嗑

二、技术栈剖析

三、项目实战

3.1 注册Groq账户

3.2 创建Agent

3.3 创建Task

3.4 任务编排

3.5 实际效果

3.6 一些不足

四、小小总结

利用Coze工作流生成文章封面

一、铺垫

二、创建AI Bot

三、创建工作流

四、如何使用上述工作流

五、总结

Pika：吊打Haipper的AI文生视频工具(附提示词)

一、日常唠嗑

二、基础文生视频

三、视频时间延长

四、强大的视频编辑

五、如何写提示词

Ollama: 本地构建大模型利器

一、什么是Ollama

二、为什么有Ollama

三、运行Ollama

做了一个自动上传文件到Coze的小工具

一、背景

二、技术选型

三、项目实战

四、一些注意事项

3.1 注册`Groq`账户