Hi～

重新認識一下，我叫AI釘三多！

關注釘釘設計的同學對這只雨燕應該不陌生了，沒錯，它就是高度敏捷、充滿韌性、不服輸不放棄的釘三多！你可以在很多場合見到它的身影，比如釘釘發布會、釘釘品牌物料&視頻、甚至街道海報、商場大屏等等；釘三多是阿里巴巴動物園里面為數不多的以黑色為主要膚色的品牌IP角色，自面世以來以其鮮明的特征性與辨識度，深受圈內外人的喜愛。AI時代，釘三多將以更好狀態、更豐富的形象，乘風而來！

釘三多的原型是尖尾雨燕，是世界上飛行最快的鳥類之一，且有著最耐久的長途飛行能力，翼長腳小，被冠以“永不落地的無腳鳥”之名。

釘三多的名字靈感，來自于經典影視劇《士兵突擊》的許三多一角，許三多的出身平凡、信念堅定、不懈努力，給觀眾留下深刻印象；釘釘早期的創業故事也正是如此，像這只“無腳鳥”一樣決絕而浪漫，也像許三多一樣勇敢且堅定地追求信念。

一、AI時代，任何形式的創作都成為了可能

AI時代，讓每個崗位上的同學都能成為藝術家。沒學過美術？總覺得自己創意平庸？視覺設計師收到的需求繁多，創作成本大，更改頻率高，自己的產出效率是不是越來越低了？運營同學天天有無數需要設計師幫助出圖的地方，設計師也忙，自己這么頻繁麻煩設計師是不是不太好？

AIGC徹底打破傳統創作的局限性，你可以無門檻無差別式創作，你的天馬行空，AI來買單。

二、我們為什么要做這件事？

首先，先進的AI能力，可以在畫面品質上得到保證，相比于傳統繪畫和平面設計對藝術家&設計師基本功和能力素養的高要求，熟練駕馭AIGC能力可以讓你在任何時間任何條件下，生成容錯率較高的高品質作品，并且充分借助橫向能力，可以靈活調整、局部修改，以最小的成本達到最高的畫面質量，生成后可以供自己使用。

其次，創作成本也是要著重考究的方面，以Stable Diffusion、Midjourney為代表的工具化AI產品，以工程化的方式，進行標準化的生產，可以在明確的條件下無限輸出，創作時間成本大大降低。

最后，多風格多模型，也決定了創作者可以進行多樣式的創作，總有一款風格適合你，總有你能用到的模型，它總會給你意想不到的驚喜。

三、我們是怎么開始做這件事的？

先進的AI能力，可以在畫面品質上得到保證，相比于傳統繪畫和平面設計對藝術家或設計師的基本功及能力素養的高要求，熟練駕馭AIGC能力可以讓你在任何時間任何條件下，生成容錯率較高的高品質作品，并且充分借助橫向能力，可以靈活調整、局部修改，以最小的成本達到最高的作品質量，生成后可以供自己使用。

底層邏輯：我們使用線上部署版Stable Diffusion進行模型訓練，Lora模型依附于SD大模型使用，相比于SD大模型，Lora模型更適合進行具象風格化的定制，更迭、修改、調整的成本也會小很多。在開始前，我們明確了幾個原則：

品牌一致性：保證模型的穩定性，高度統一生成的形象，能以最高的成功率生成符合釘釘IP規范的角色形象。

豐富拓展性：保證模型擁有較強的泛化能力，可以跳脫訓練時投入的已有素材，高質量泛化出不同的物品、形態。

充分迭代：AI在不斷的更迭，風格化模型也同理，嘗試訓練一遍就成功是不現實的，過程中充分回收成功案例，查漏訓練參數問題，不斷改進不斷優化，讓釘三多永遠都以最好最新的姿態見到大家。

明確項目原則以后，開始進行訓練的準備工作。

1. 訓練集素材準備

訓練集是整個項目中最重要的環節，直接決定了訓練出模型的質量如何，好的訓練集一定是畫面風格一致、元素風格一致、形象與畫面的占比一致、關鍵詞描述清晰、明確。在訓練集準備工作階段，首先遇到一個大難題：已有的釘三多視覺素材中，單體3d素材充裕，姿勢多，表情多，但缺乏在3d場景中的運用，已有素材大多是裸身，缺乏身著衣物的素材。

這時候就要充分借助AI的能力，在原有基礎素材（無背景、無衣物）的基礎上，結合手繪線稿或素材抽離的線描，勾勒出想要的形體、衣物，借助ControlNet的條件控制能力，輸出可供我們投入訓練集使用的新素材；場景可以單獨繪制，3d風格的背景也可以搭配使用Midjourney，批量輸出多個精品3d場景，作為訓練集單體輸入素材的一部分。模型訓練其實不是0-1的過程，而是從0-1，1-2，2-3...所有生成、創作的優秀素材都可以反哺進訓練集中，繼續訓練，高品質的素材可以幫助訓練成的模型出圖效果更穩定、更高品質。

2. 訓練集素材打標

依次根據每張素材的畫面內容，進行批量化打標，這一環節的作用是為了幫助AI更好的理解我們理想畫面中每個物品、視角、角色，分別是什么，這個環節的工作也直接決定了Lora后期的泛化水平。

多次反復打標以后，我們沉淀了一套模版化的打標框架：分別描述“誰，在哪兒，做什么”。

“誰”：頂層節點先明確好觸發詞，與固定形態有關的、且是畫面中比較核心的元素，都可以利用/(ip)/的格式進行編輯；IP形象的特征也比較明確，黑色的皮膚、藍色的嘴巴、胸口有白色的閃電符號，都是構成它的必需條件；搭配一些裝飾品、衣物等共同構成“誰”和“角色形象”這個概念；

“在哪兒”：接下來可以描述畫面背景方面的內容，例如在什么地方，這個地方有什么東西，室內還是室外，什么季節，天氣如何等等，共同構成“在哪兒”這個概念；

“做什么”：這里就是影響畫面豐富性的環節了，三多在畫面中，是什么姿態，是否有手持、腳踏等互動性物品，是以什么樣的心情，什么樣的站位，在做這件事情，搭配鏡頭描述，例如俯拍、正視、仰視等描述詞，共同構成“做什么”這個概念。

最后，將這件事情循環幾十次，訓練集工作完成，就可以投入煉丹爐靜候佳音！

3. 大功告成，開始進行使用前測試

一個好的模型必須經受“擬合度測試、泛化性測試、良品率測試”三重嚴苛考核，如果在測試環節出現過擬合、無泛化、成功率低等問題，那這個模型的可用性將會被大大降低。

擬合度測試

首先，將訓練出的多輪多個safetensors集中起來，用尋常的畫面關鍵詞進行分頭測試，來選取表現最穩定、畫面最好的模型版本與權重，如下圖可見，safetensors-000006，在權重0.7-0.8時表現最佳，再多測試幾輪后依舊得到了這個結論，所以模型safetensors-000006，出圖權重0.8成為了我們最終采用的模型和權重參數。

泛化性測試

利用訓練集畫面素材中沒有出現過的物品、場景、姿勢、形態，進行無差別跑圖測試，觀察是否可以輸出結構結實、正確無誤的對應元素。這里我更迭了超過五個版本，之前的每個版本在泛化性測試中都表現得不盡人意，無法徹底跳脫訓練集畫面而構成全新的畫面。在多次調整訓練集，反復回爐重造以后，泛化性得到了極大的改善，在一些特殊節日測試中，場景、衣物、與物品的互動等方面表現極佳。

良品率測試

顧名思義，是對直出圖的成功率測試，合格的Lora成功率應該保障在70%或以上，這里我們進行了同文不同畫的測試，觀察一批次能輸出多少張無缺陷無硬傷的合格畫面。經過多次嘗試與回爐重造，最終良品率達到了82%，通過測試，可以進行下一步部署與使用環節！

四、落地實踐：萬圣節-釘釘節日問候海報

釘釘于2024年9月正式開始了三多模型的落地使用，目前僅對釘釘內部可用。在此展示一個設計案例：釘釘萬圣節-節日主題海報。

1. 準備工作

首先進行海報的畫面構思：萬圣節是西方節日，深受年輕人喜愛，逢節必備的三件事：著裝扮鬼、出門游街、索要糖果。結合釘三多的角色屬性，立馬有了思路。

抽象一些畫面基本元素來體現萬圣節，必備的一些物品有：南瓜、糖果、異裝、城堡、鬼魂、夜晚...

2. 與釘釘的結合，體現釘釘品牌屬性

釘釘近一年充分擁抱AI，“魔法棒”的概念深入人心，于是將角色的“異裝”概念進行一輪升級，賦予釘三多扮“魔法師”的形象，魔法師應有的形象特點為魔法帽&斗篷、騎行的掃把、魔法棒...剛好與釘釘AI魔法棒概念相吻合；著裝主題色也決定采用藍紫漸變，來呼應釘釘的主題色。

3. 結構化撰寫Prompt

依照上面提到過的提示詞結構，我們可以分模塊撰寫Prompt：

觸發詞：dingsanduo/(ip)/

誰：3d character, c4d, there is a white lightning bolt symbol on the chest, solo,
(3d動漫角色，c4d作品風格，角色胸口有一個白色的閃電符號，單人)

在哪兒：on Halloween night, against the backdrop of a castle, there is a pumpkin lantern. The mouth of the pumpkin lantern is wide open, filled with candies, there are bats in the air.

(在萬圣節之夜，在城堡的背景下，有一盞南瓜燈籠。南瓜燈籠的嘴巴張開著，里面裝滿了糖果。地上有落葉和棒棒糖，夜空中可以看到有蝙蝠在飛)

做什么：On the ground, there are fallen leaves and lollipops. A figure is wearing a purple shiny scale cloak with a gradient of blue and purple. On the head is a purple magic hat. The person is brandishing a magic wand that sparkles with stars. Riding on a flying broomstick,

(三多穿著一件閃亮的鱗片斗篷，藍色和紫色漸變。頭上戴著一頂藍紫色的魔法帽，揮舞著一根閃閃發光的星星魔杖，騎在飛天掃帚上，飛翔)

4. 得到了我們想要的畫面

結合一些擴圖、局部重繪能力進行微調，搭配提前準備好的海報文案，就完成啦！

五、部署&產品AI能力

目前釘三多FLUX.1-Lora模型已部署到釘釘內部產品工具中，釘釘的同學可以自由訪問并體驗三多模型生圖。近期各個職能的同學也是踴躍嘗試，各式各樣的三多正在瘋狂誕生中...

總結

看到AI，擁抱AI，駕馭AI，每個人都在登山的路上。

不同于體驗設計、服務設計，AIGC領域沒有絕對唯一的衡量標準，也沒有站在山頂上的人，每一個研究AIGC的人都是勇敢的攀登者，都在摸索上山的道路，路途中充滿了隨機與驚喜，沒有人知道這座山有多高，沒有人知道誰走在最前面，每個人都有自己專屬的上山路，哪怕這條路并不好走，哪怕這座山還在不停地“長高”。

在此釘釘設計中心感謝投身在這個領域的所有先行者，有了你們的勇敢探索、不畏試錯、無私分享，才有了當下AIGC的蓬勃發展，百家爭鳴。

歡迎關注作者微信公眾號：「釘釘用戶體驗」