Stable Diffusion 模型技術正引領一場前所未有的創新風暴,徹底重塑著創意產業的面貌。
在這股開源技術洪流中,@SD煉丹師忠忠 以其非凡的洞察力和不懈的努力,成為了SD模型訓練領域的杰出探索者。他通過其精心打造的 BDicon、互聯網插畫風、三維電商展臺等系列模型,在SD模型訓練領域樹立了新的標桿,生動詮釋了 SD 模型訓練技術如何實現設計效率的飛躍式增長,還為阿里、Canva、華為、平安科技、騰訊、等公司提供了 SD 應用訓練分享與培訓。
本期專訪我們就來看看他在 SD 模型訓練領域的寶貴經驗與獨到見解。
往期回顧:
1、忠忠老師,您的 BDicon 模型在 liblib 上備受矚目,能和我們分享一下您是如何踏入 SD 模型訓練領域,并成功打造出這一熱門模型的嗎?
我是在23年3月正式開始接觸模型訓練的,當時是發現市場上已經有效果很棒的 SD1.5 設計類模型了,深感這是一次巨大的生產力提升,我必須參與其中,于是開始研究學習。
主要的學習渠道是在B站自學,在此特別感謝以青龍圣者、獨立研究員星空等為代表的B站 UP 主的無私奉獻,通過他們的教程得以掌握了模型訓練的基本方法,跑通了模型訓練的完整流程。然后再結合許多 UI 設計師會有畫 BDicon 這類3D圖標的需求但又不會3D軟件的現狀與痛點,選定了 BDicon 這種B端圖標風格的模型路線進行實驗,經過了數十次的失敗后終于訓練出了 BDicon 1.5 版本的 Ckpt 模型。
BDicon 上架后廣受 UI 設計師歡迎,靠自然流量沖上了哩布哩布首頁。后續隨著 SDXL 的開源也更新了對應的 BDiconSDXL 版本,擁有更豐富的色彩元素的 BDiconProSDXL 版本等。
2、對于那些剛剛接觸 SD 的設計師新手,您能解釋一下為什么進行 SD 模型訓練(微調)如此重要嗎?
Stability AI 提供的基礎版 SD 模型雖然已經很強大了,但是對于特定領域的需求還是無法滿足。因為基礎版 SD 模型還沒有學習過特定領域的數據集的特征,比如特定的國潮畫風,IP形象等等,自然也無法生產特定領域的需求圖片。我們通過 SD 模型訓練(微調),可以讓基礎版 SD 模型學會之前不認識的特征,繼而延展這種特征為我們生成更多擁有這個特征的 AI 圖片。
例如之前基礎版 SD 模型無法直接生成 BDicon 這類B端三維圖標風格,但是經過對對應數據集的學習之后,即可生成各類B端三維圖標。
3、您在 Stable Diffusion 方面有著深厚的研究,也樂于分享技術心得,那么,能否為我們揭秘一下 SD 模型訓練的核心流程和關鍵點?
SD 模型訓練的核心流程其實很簡單,就是收集處理圖片數據集,然后打上對應的文字標注,然后使用訓練腳本進行訓練產出微調版本的模型,經過測試后效果達標即可實際應用了。
SD 模型訓練的關鍵就在于訓練集與標注質量,高質量的訓練集與標注才能帶來高質量的微調模型,畢竟巧婦也難為無米之炊啊哈哈。
4、在這個過程中,有哪些關鍵的技術細節或獨特的訓練方法,使得您的模型能夠在眾多產品中脫穎而出?
在模型訓練的過程中,訓練集圖片的質量是最能夠影響最終效果的因素,對于訓練集的嚴格篩選與處理,貴精不貴多的選擇策略,能帶來更好的特定特征學習效果??傊畧猿忠粋€原則,想要 SD 模型生成什么,那就給它學習最好的對應數據集。
5、您之前從事的是 UI 設計工作,現在專注于 SD 模型訓練。這兩種工作有哪些異同?又是什么原因促使您放棄穩定的設計工作,選擇創立煉丹科技公司?能否分享一些您的創業感悟?
我之前的UI設計工作主要在負責 Element Plus UI 框架庫的搭建與維護,與 SD 模型訓練相同的都是給設計師提供基礎服務,以幫助設計師更高效地產出設計作品,邏輯與代碼能力上的優勢都對這兩種工作有加成效果。
SD 模型訓練會更多的將時間花在訓練集的處理,模型的測試等模型訓練流程上,與搭建組件庫畫界面的具體 UI 設計工作內容有著明顯的差異。
之所以放棄穩定的設計工作,選擇創立煉丹科技公司,主要是想探索更多人生的可能性吧。之前的工作雖然穩定,但是也受限于公司的條條框框,無法真正的擁有探索的自由。自己創業之后收入雖然不穩定,但是比起在職工作更能夠選擇做自己想做的事,學習自己想學習的技能與知識,就比如在煉丹路上一路狂奔的這一年。
因為自己創業認識了更多有趣又很強的朋友,與在公司時的固定產品團隊協作也有很明顯的不同。去各地舉辦煉丹大會等活動和高效講課,也順路感受到了更多以前看不到的風光與景色,有心心念念許久的西安大唐不夜城的燈火璀璨,也有南昌滕王閣旁清晨的江霧漫漫。
6、在商業應用方面,SD 模型訓練技術能發揮哪些實際作用?您有沒有具體的商業落地案例來給我們詳細介紹一下?
SD 模型訓練技術能很大幅度地提高特定工作環節的生產效率,以 BDicon 在B端設計領域的應用為案例,一個使用三維建模方式需要4小時才能完成的圖標,使用 Bdicon 文生圖生成的話僅需 0.4 小時,相當于提效90%,更復雜一點需要線稿輔助的話,也可以在一小時內完成,相當于提效 75%,還是很可觀的。
7、站在行業前沿,您如何看待 SD 模型訓練領域的發展現狀和未來趨勢?有沒有什么新的預測或期待與我們分享?
SD 模型訓練領域現在仍然處于相對較為原始的野蠻生長狀態,相信隨著領域內各專家的深度探索與研究,整個領域的良性生態的建設與完善,SD 模型訓練一定可以完成更多以前完成不了的工作,提升工作環節的生產效率。
最近 Stablity AI 也續命成功,獲得了頂級投資機構的重大投資,大家也能繼續深挖這項開源模型技術的潛能,SD 模型訓練肯定還會解鎖更多創意與生產力。
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
熱評 一只正在上優設的熊貓