我們熱衷探索 Stable Diffusion 是因為它的開源生態與極大的自由度和控制力。盡管 Stable Diffusion 在圖像控制精度上遠超 Midjourney,但其復雜操作流程總讓創作者望而卻步。
然而,最近情況出現了轉機。開年以來,DeepSeek 因其最新發布的 R1 推理模型極其強大的推理認知能力席卷全球科技圈——它不僅登頂中美應用商店下載Top榜,更被黑神話悟空的制作人馮驥稱為“國運級科技成果”。
我們看了網上各位大神們的文章,發現他們利用 DeepSeek 強大的認知能力,不斷將 Stable Diffusion 的操作門檻降低。站在大佬們的肩膀上,我們進一步嘗試并成功借助 DeepSeek 的「聯網+推理」能力讓 Stable Diffusion 中布置 ComfyUI 工作流 和 煉制 LoRA 模型兩大環節變得簡單而高效。
更多DeepSeek運用干貨:
ComfyUI 節點繁多,連接復雜。選擇合適的節點并了解其連接與設置方法需要大量相關知識,這無疑極大抬高了 ComfyUI 的使用門檻。并且由于各節點,插件更新頻率不統一,且迭代較快,使得教程過時的速度很快,數月前新推出的教程,現在就可能由于節點更新而無法完全適配。因此我們可以利用 DeepSeek 的信息檢索能力讓他快速輔助我們搭建出合理的工作流。
目前 DeepSeek 大模型已接入多個平臺,我們可以選擇任意一個支持聯網搜索的平臺進行使用。
目前,主流的工作流創建有兩種方法,一種是直接使用現成的工作流 json 文件進行導入,另一種是手動連接節點。我們在多次嘗試后發現 DeepSeek 并不能寫出完整可用的工作流 json 代碼。這可能是因為工作流的代碼規范復雜,且網絡上可參考的代碼較少,導致生成代碼質量較低,格式不規范。
因此我們通過讓 DeepSeek 描述節點連接方法的方式輔助我們進行工作流的手動搭建。
對于指令,我們按照 “任務+要求+補充” 的結構化方法進行描述,如果需要搭建的流程是基于特定環境或情景,也可以加上對指令背景的描述。
因此我們給出如下指令:
“我要在 ComfyUI 上搭建文生圖工作流,讓我可以輸入提示詞生成對應描述的圖片(任務),并且詳細說明每個節點的各接口是否空置或與哪個節點連接(要求),并且詳細說明連接完畢后這個工作流如何使用,可以如何進行調節(補充)”
可以看到 DeepSeek 給出了一個整體的節點連接順序,并且對每個節點該如何連接進行了詳細描述
接下來我們在 liblib 去嘗試進行工作流搭建,首先我們按照 DeepSeek 的描述,搜索“Checkpoint Loader”,添加對應節點,并按照描述進行連接。
最后我們輸入正面和負面提示詞進行測試,可以看到,DeepSeek 完整實現了文生圖的一個工作流的搭建,并且可以正常運行并生成圖片,極大降低了新手的入門門檻。
之前,在煉制 LoRA 模型的時候,所花費時間最多的部分就是給圖片打標簽的部分。官方自帶的打標簽算法大部分時候在主體物非人物的情況下,出來的標簽經常和主體圖相差十萬八千里。因此,這大多數這種情況需要我們采用手動標注的方式。而底模(Checkpoint)如果迭代了,那就意味著我幾乎需要把所有的流程重新走一遍。帶來的重復工作量可想而知。
而這一切在飛書多維表格接入 DeepSeek 改變了。前兩天看了卡茲克大佬的文章 《接入了 DeepSeek 后的飛書,強大到我有點陌生》,里面提到了借助飛書的多維表格,再結合 DeepSeek 的推理能力可以批量輸出內容。這里我就聯想到了,是否可以借助這樣的方式,將打標簽這一環節變得簡單。
我們做的這個模版就在這里,大家可以自行使用哈:
https://acn3dfl2e25a.feishu.cn/base/AfDAbOK2bap0oqs9JcUcF7tPnTd?from=from_copylink
基本就是在第二列上傳需要打標簽的圖片。之后,在表頭為「描述」的列中,借助字節的「AI 圖片理解」模塊識別圖片的內容并進行描述。之后,在「xx 提示詞」的列中,使用「DeepSeek 大模型」并要求其根據「描述」列中給出的描述內容,生成提示詞。
這里需要注意的是,在寫描述需求的時候,最好加上「生成英文提示詞」,如果沒有英文的話,大概率會有幾個提示詞給出中文的,雖然可以點擊進行翻譯,但也是非常麻煩的,目前多維表格針對由 DeepSeek 生成的內容是不支持修改的,哪怕只是改動翻譯。
完成后,將提示詞復制/導出,并以數據集的形式導入煉丹爐就好啦,具體煉丹詳情可見這一篇《只要三分鐘,讓你快速掌握 SD-LoRA 模型煉制的基礎知識》
這次將 Stable Diffusion 和 DeepSeek 的成功結合,確實讓我們感到無比振奮。過去,AI 在設計領域的應用往往是碎片化的,需要人工在不同工具之間來回切換和協調。而這次嘗試,仿佛為我們打開了一扇新的大門,預示著 AI 全流程設計時代的已悄然降臨。
這讓我想起了一個關于荷花的故事:在一個空池塘里,荷花每天以翻倍的速度生長,第一天 1 朵,第二天 2 朵,第三天 4 朵……直到第30天,池塘被完全填滿。那么,池塘被填滿一半是在哪一天呢?答案是第29天。
這個故事似乎也在暗示著我們當下的處境——AI技術的進步并非一蹴而就,而是以指數級的速度悄然積累。
或許,我們正站在第 29 天的門檻上,眼前的一切只是冰山一角。
真正的爆發,可能就在不遠處。
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
標志設計標準教程
已累計誕生 729 位幸運星
發表評論 為下方 18 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓