大家好,我是花生~
阿里通義實驗室在月初推出的一個新開源項目 In-Context(上下文) LoRA 最近越來越火了,因為大家發現它實在太好用了,無論是保持人物/場景一致性,還是進行服裝、風格、Logo、字體樣式、頁面版式的學習遷移,效果都非常不錯,一下就解決了很多大家之前頭疼的問題。
目前 In-Context LoRA 已經在攝影、電商設計、樣機制作、頭像生成等方面有了落地應用,極大滿足了大家對精準控制出圖的需求,那今天我們就一起來看看 In-Context LoRA (以下簡稱 IC LoRA)究竟有哪些神奇之處。
相關推薦:
IC LoRA 是基于 Flux 訓練的,用法也和普通的 Flux Lora 一樣。它最大的特點是可以在圖像生成時,穩定保持不同圖像之間的關聯性和一致性,就如有了理解記憶能力一樣。根據這個特性,研發團隊訓練出 10 種不同的模型,分別應對不同的場景,它們主要可以分為以下幾個方面。
1. 人物/場景一致性
IC LoRA 可以很好地保持人物、場景在不同圖像中的一致性,而且僅需提示詞就能實現,因此它很適合生成故事分鏡或者同一人物的系列照片。同時,它也可以生成包含「寫實」和「卡通」兩種風格的圖像,并且使兩個風格的角色特征、服裝穿搭仍保持一致。
2. 風格一致性
通過提示詞,IC LoRA 可以一次性生成多張視覺風格一致的圖像,這用來生成室內設計概念圖、情侶頭像等內容時非常方便。
3. 樣式遷移
IC LoRA 是基于 Flux 訓練的,因此在文本、圖形的遷移學習上也有很好的表現,可以生成同一風格樣式的字體和頁面版式,還支持將現有的 VI 元素,比如 Logo、插畫等,完美復刻到新圖像中,讓樣機展示變成一件無比輕松的事情。
除了文本直接生成,IC LoRA 也支持通過已有圖像生成具有一致性的新圖像,比如根據 3 張圖像生成同一人物的新圖像、將真人照片轉為相似的卡通圖像、根據現有 Logo 生成它的樣機展示圖等。這樣的方式比以往訓練 LoRA 要方便快捷很多。
10 個模型下載: https://huggingface.co/ali-vilab/In-Context-LoRA (文末有資源包內)
應用場景展示: https://github.com/ali-vilab/In-Context-LoRA
IC LoRA 官方目前開源了 10 個模型,每個模型對應不同的使用場景。
不過它們的使用方法和普通的 Flux Lora 是一樣的:在基礎的 Flux D 文生圖流程上,加入一個 load lora 節點加載對應模型就行,下圖是一個標準的工作流示例(文件在文末資源包內)。你可以一次性下載 10 個模型,也可以只下載自己需要的那幾個,然后將模型安裝到 ComfyUI 根目錄的 lora 文件夾中,
需要注意的是,不同 lora 模型的提示詞寫法和推薦圖像尺寸各有不同,具體內容官方在 github 上有給出示例。大家在使用前一定要查看,將對應參數信息都修改好了之后再生成,否則會影響出圖效果。
官方目前只給出了文生圖的工作流,開源社區則已經衍生出多個圖生圖的落地應用案例,包括換裝、樣機、情侶頭像、電商場景、角色故事分鏡、四格漫畫等,Github 中都有集中收錄,每一個都附帶了對應的工作流/模型/插件鏈接,大家可以選擇自己喜歡的類型進行嘗試。
Glif 在線試玩: https://glif.app/@fab1an/glifs/cm3ogs6tn003j10dygwyq6l9c
Glif 上有一個基于 IC LoRA 的小工具 Any Image Anywhere,可以免費生成任何 logo 的樣機圖。注冊登錄后只需上傳你的 Logo 圖像,然后描述樣機場景,比如 “on a packaging design agency studio wall (在包裝設計機構工作室的墻上)”,就能一秒得到一個相當不錯的樣機展示圖。
那么以上就是本期對熱門模型 In-Context LoRA 的相關介紹,網上還有很多大神都分享了它的免費使用教程,想深入了解的小伙伴可以自行學習。另外該模型目前是基于 Flux Dev 生態的,屬于不可商用,大家需要注意版權。
喜歡本期內容一定記得點贊評論支持一波,我會更有動力分享新的內容。也歡迎大家關注「優設 AI 自學網」 和「優設微信視頻號」,每天都會分享最新的 AIGC 資訊和神器,讓你輕松掌握 AI 發展動態。也歡迎大家掃描下方的二維碼加入“優設 AI 知識交流群”,和我及其他設計師一起交流學習 AI 知識~
另外我的新課程《AI 視頻零基礎系統入門》已經上線了,對 AI 視頻感興趣的小伙伴不要錯過。課程內容包括:
- 從文生視頻、圖生視頻、視頻生成視頻、數字人視頻 4 個方面,系統全面地帶你了解目前主流的 AI 視頻制作方式以及優缺點;
- 十余種熱門 AI 視頻生成神器用法詳解,輕松掌握大神同款工具;
- 附贈課程專屬工具清單,收錄了近 300 款 AI 視頻、音頻、文案神器,全面賦能 AI 視頻創作
- 高質量免費自學資源、最新 AI 視頻資訊獲取渠道全分享
相關鏈接:
https://github.com/ali-vilab/In-Context-LoRA?tab=readme-ov-file#community-creations-using-ic-lora
https://ali-vilab.github.io/In-Context-LoRA-Page/
推薦閱讀:
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
熱評 頭痛不吃藥