大家好,這里是和你們一起探索 AI 的花生~
之前為大家系統推薦了 5 款 3D 模型生成神器,以及 Stability AI 推出的 3D 模型 Stable Zero123,他們都可以根據文本或圖像生成較完整的 3D 模型。最近 Stability AI 又推出了一款新的開源 3D 生成模型 TripoSR,它不僅在生成速度上遠超之前推薦的模型,而且質量上也有了極大的提升,今天為大家介紹一下它的用法。
相關推薦:
Github 項目主頁: https://github.com/VAST-AI-Research/TripoSR
TripoSR 試用 Demo: https://huggingface.co/spaces/stabilityai/TripoSR
TripoSR 由 Stability AI 和 Tripo AI 合作開發,可在 1 秒鐘內根據單張圖像生成高質量的 3D 模型,并且對算力的需求很低,甚至不需要 GPU 就能生成,因此普通用戶也可以輕松在本地設備上使用它 。目前模型已開源,允許商業化使用。
TripoSR 目前已經有線上試用 Demo 了,大家可以上傳自己的圖像體驗一下它的生成速度,真的是 1 秒完成,而在此之前 3D 模型生成一般都要 5-10 分鐘,相比之下 TripoSR 的提升無疑是巨大的。除了速度,TripoSR 生成的質量也比之前的模型好很多,即使是人物或者建筑這樣復雜的對象也可以準確生成其完整的背面內容。模型生成后支持導出為 .obj 和 .glb 文件,然后在 C4D/Blender 等軟件中進一步編輯,這可以有效提升的 3D 內容創作效率。
TripoSR 模型開源后,ComfyUI 生態就很就對其進行了支持,我們可以安裝 ComfyUI-Flowty-TripoSR 插件實現本地運行,另外還可以加入其他 AI 技術,實現通過文本快速生成 3D 模型。
① 安裝插件
Github 主頁: https://github.com/flowtyone/ComfyUI-Flowty-TripoSR.git
將 ComfyUI 更新到最新版本,然后安裝 ComfyUI-Flowty-TripoSR 插件。可以用過 manager 安裝,也可以進入根目錄的 custom_nodes 文件夾中,通過 git clone 命令安裝;安裝成功后,進入 ComfyUI-layerdiffuse 根目錄,打開終端命令,運行 pip install -r requirements.txt 命令,安裝 python 依賴項。
② 安裝模型
TripoSR 模型地址: https://huggingface.co/stabilityai/TripoSR/blob/main/model.ckpt (文末有資源包)
下載 model.ckpt,安裝到根目錄的 ComfyUI/models/checkpoints 文件夾中,如果是和 SD WebUI 共用的資源則放到 WebUI 的根目錄中,然后刷新或者重啟 ComfyUI(模型下載后可以修改名稱為 TripoSR,方便后期識別 )。
③ 導入基礎工作流
進入 ComfyUI 界面后,可以從 ComfyUI-Flowty-TripoSR 根目錄中導入插件作者提供的 json 工作流文件,推薦使用帶背景去除的 workflow_rembg,它的生成效果會更好。
基礎工作流的使用非常簡單,只要先選好 TripoSR.ckpt 大模型, 然后上傳本地圖像(注意:圖像中主體不要占得太滿,最好與四周保留一定的距離,否則會影響出圖效果),再點擊生成,幾秒鐘就能得到一個完整的模型了。
相關推薦:
最近 AI 繪畫領域出現了不少新的技術,比如可以在 1-8 步內完成圖像推理的 SDXL Lightning 模型,以及可以通過文本生成透明底圖像的 LayerDiffusion 插件,我嘗試將他們與 TripoSR 結合,最終實現了直接通過文本生成 3D 模型的效果,下面是具體工作流(文末有資源包):
使用時工作流需要注意的方面有:
- 因為使用了 SDXL Lightning 4-step Lora,所以大模型也需要是對應的 XL 大模型,Ksamper 參數設置也會不同:生成步數為 4;CFG 參數為 1,scheduler 為 sgm_uniform。有了它 4 步就得到一張高質量的圖像,速度比直接使用 XL 大模型快 8-10 倍。
- 接入了 LayerDiffusion 節點,可以直接通過文本生成透明底圖像,選擇不同的 XL 大模型就可以生成不同風格的圖像,這樣就無需自己上傳了,整體更方便。
- 目前 ComfyUI-Flowty-TripoSR 插件還沒有導出 3D 文件的功能,不過后續應該會加上。如果你想現在就將 ComfyUI 中生成的 3D 模型導出,可以使用 @Zho 大神的分支 ComfyUI-Flowty-TripoSR-Zho,使用方法依舊是先通過 git clone 安裝插件,然后運行 pip install -r requirements.txt 命令。
目前已經在網上看到一些將 TripoSR 應用到實際項目中的做法,效果都非常不錯,網友 @Doron Adler 則展示了一個非常生動的例子。他先用 Midjourney 生成了一個人物,然后用 TripoSR 進行 3D 化,再導入 MeshLab 編輯并用 Mixamo 創建動畫,最后使用 Reality Converter 將 3D 人物投射到了現實中。整個過程看起來好像很復雜,但從想法到現實其實只用了幾分鐘,因為 AI 完成了大部分的工作。這樣的實現速度是傳統設計軟件很難達到的,未來 AI 技術對 AR 和 VR 的影響肯定會更令人期待。
好啦以上就是本期為大家推薦的 AI 3D 模型生成神器 TripoSR 的相關內容,喜歡的話記得點贊收藏支持一波,之后會繼續為大家帶來更多實用的 AI 干貨知識。想了解更多 AI 內容的話,歡迎關注 優設 AI 自學網;另外也可以關注「優設 AIGC」的 微信 視頻號,小瓜老師每天都會分享最新的 AIGC 資訊和神器,讓你輕松掌握最新的 AI 發展動態 ~
如果有關于文章的問題,歡迎在評論區留言,或者掃描下方的二維碼加入“優設 AI 知識交流群”,和我及其他 設計師 一起交流學習~
推薦閱讀:
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
標志設計標準教程
已累計誕生 729 位幸運星
發表評論 為下方 8 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓