大家好，這里是和你們一起探索 AI 的花生~

最近國內科技公司快手在 AI 方面接連發(fā)力，推出了類 Sora 視頻生成模型「可靈 Kling」、人像動畫控制模型「Liveportait」、以及文生圖擴散模型「可圖 Kolors」，質量均位于同類模型前列，在國外互聯(lián)網(wǎng)上都引起了廣泛的關注和討論，頗有異軍突起之勢。

其中「可圖 Kolors」為開源模型，它不僅在生成質量上超過了前段時間推出的 SD3，與 Midjourney v6 模型不相上下，還支持識別中文提示詞和生成中文字符，可謂是國產(chǎn)開源繪畫模型之光，今天就為大家介紹一下 Kolors 的模型特點和使用方法。

相關推薦：

一、Kolors 簡介

Kolors 是一個基于潛在擴散的大規(guī)模文本到圖像生成模型，在數(shù)十億個文本-圖像對上訓練而成。據(jù)官方介紹，Kolors 在圖像生成質量、復雜提示詞理解、字符文本內容渲染等方面都有優(yōu)異表現(xiàn)，尤其擅長生成高質量、細節(jié)清晰的人像圖片。

Kolors 生成的圖像

由于 Kolors 將 GLM （General Language Model, 通用語言模型）接入了文本編碼器，所以它可以準確理解中文提示詞的含義，即使提示詞中包含復雜的對象、顏色和位置關系，也能處理得很好。在實際測試中，Kolor 對中文提示詞的反應效果甚至比英文還好，這種直接輸入中文就生成高質量圖像帶給人的感覺也非常棒。

當然 Kolors 最令人驚喜的是它支持生成正確的中文字符，這應該是首個實現(xiàn)此功能的 AI 繪畫大模型。文字支持黑體、手寫、書法等多種字體，即使是筆畫很復雜的字也能準確生成，是 AI 繪畫發(fā)展的又一大重要進步。

作為國產(chǎn)大模型，Kolors 對中式元素的呈現(xiàn)效果也非常棒。無論是長城、故宮、鳥巢這樣的標志性建筑，還是豬腳飯、螺螄粉、老婆餅這樣的傳統(tǒng)美食，Kolors 都能正確呈現(xiàn)出來。內容本土化是 AI 繪畫用戶的核心需求之一，大家肯定都希望輸入提示詞 “一個可愛的小男孩”后，得到的是一個中國男孩而不是白人小男孩的形象，Kolor 在這方面的改進可以說非常貼心了。

在官方測評報告中，Kolors 在人類評估中的表現(xiàn)超過了現(xiàn)有的 SD3、Playground v2.5 等開源模型，在文本忠誠度、視覺吸引力，整體滿意度上更是與 Midjourney v6 不相上下。在大模型評測平臺 FlagEval 的 “文生圖模型排行榜”中，Kolors 也獲得第二名的好成績，僅次于 DALL·E 3。

大家可以在 Huggingface 上免費體驗 Kolors 的圖像生成效果，生成速度非常快，幾秒就能返回結果。我直接用中文提示詞出了幾個圖，測試其中文和中國元素生成能力，效果都非常不錯。

Huggingface Kolors 在線試玩： https://huggingface.co/spaces/gokaygokay/Kolors

二、ComfyUI 中使用 Kolors 模型

Kolors 模型開源后 ComfyUI 社區(qū)很快就進行了跟進，@Kijia 已經(jīng)制作了 ComfyUI-KwaiKolorsWrapper 節(jié)點，安裝后即可在本地使用 Kolors 出圖。需要注意的是 Kolors 目前僅允許用于學術研究，如果想商用，需要填寫問卷并發(fā)送至 kwai-kolors@kuaishou.com 進行注冊。

ComfyUI 安裝步驟：

① 通過 ComfyUI Manager 安裝 ComfyUI-KwaiKolorsWrapper 插件；

② 在 ComfyUI-KwaiKolorsWrapper 文件夾中打開終端，運行 pip install -r requirements.txt 命令，安裝依賴項；.

③ KolorsWrapper 文件夾的 example 文件夾中，導入 kolors_example 工作流到 ComfyUI 中，這個工作流中的節(jié)點都是 Kolors 專屬的，不同于一般的節(jié)點，大家在使用的時候注意區(qū)分。

④ 工作流打開后，如果點擊生成，后臺會自動下載所需的各種模型文件，但這一步需要等待很長時間，容易出錯，所以更推薦大家從我給的網(wǎng)盤資料中下載 Kolors 文件夾 ，放到根目錄的 ComfyUI\models\diffusers 文件夾中。

⑤ 如果你是從別處獲得的模型資源，可以再多檢查一步：進入 Kolors\ text_encoder 文件夾，找到所有名稱帶 text encoder 的文件，將前綴的 text_encoder_ 部分刪除，否則工作流運行的時候會報錯。

⑥ 從網(wǎng)盤中下載 chatglm 文件，安裝到 ComfyUI\models\LLM\checkpoints 中（如果沒有就新建文件夾）。網(wǎng)盤中一共有三個模型可選，fp16 適合 13G 的顯存，8bit 適合 8-9G ，4bit 適合 4 G，大家按實際需要選擇一個下載即可（我的顯存是 8G，實測只能帶動 4bit 模型）。

在基礎工作流中，各個節(jié)點的作用如下：

1. (Down)load Kolors Model : 加載 Kwai-Kolors/Kolors 大模型，默認 fp16 精度；
2. (Down)load ChatGLM3 Model：加載 ChatGLM3 文本編碼器。不同的模型需要選擇不同的精度，對應關系為：fp16-fp16；quan8-8bit；quna4-4bit。
3. Kolors Text Encode：提示詞輸入框，如果在提示詞后加上丨小符號，可以隔離提示詞，同時生成多張圖像；
4. Kolors Sampler：推薦使用 1024 分辨率，其余保持默認即可；
5. Load VAE：可以使用 sdxl vae。

以上就是對國產(chǎn)開源繪畫大模型 Kolors 的相關介紹，官方未來還將推出更多圍繞 Kolors 的應用和插件，包括 ControlNet、IP-Adapter 和 LCM 等，我們可以期待它的未來發(fā)展。

文章相關鏈接：

1. kolors 官方模型地址： https://huggingface.co/Kwai-Kolors/Kolors
2. ComfyUI Kolors 插件地址： https://github.com/kijai/ComfyUI-KwaiKolorsWrapper
3. ChatGLM3 模型地址： https://huggingface.co/Kijai/ChatGLM3-safetensors/tree/main

想了解更多 AI 干貨內容的話，歡迎關注「優(yōu)設 AI 自學網(wǎng)」 和「優(yōu)設微信視頻號」，每天都會分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發(fā)展動態(tài)。也歡迎大家掃描下方的二維碼加入“優(yōu)設 AI 知識交流群”，和我及其他設計師一起交流學習 AI 知識~

另外我的最新課程《AI 視頻零基礎系統(tǒng)入門》已經(jīng)上線了，對 AI 視頻感興趣的小伙伴歡迎了解。課程內容包括：

1. 從文生視頻、圖生視頻、視頻生成視頻、數(shù)字人視頻 4 個方面，系統(tǒng)全面地帶你了解目前主流的 AI 視頻制作方式以及優(yōu)缺點；
2. 十余種熱門 AI 視頻生成神器用法詳解，輕松掌握大神同款工具；
3. 附贈課程專屬工具清單，收錄了近 300 款 AI 視頻、音頻、文案神器，全面賦能 AI 視頻創(chuàng)作
4. 高質量免費自學資源、最新 AI 視頻資訊獲取渠道全分享

推薦閱讀：