此次會連載一套 AI-Agent 構建的系列,主要分為三部分,首先是速通 AI-Agent 構建的工作流基礎,然后是通過 ComfyUI 作為案例來復盤如何快速上手工作流平臺,最后則是借助 Agent 平臺構建一個 AI Agent 案例,本系列意圖主要是幫助大家貫通工作流的搭建形式,并嘗試思考為自己的工作搭建一些可用的 AI 助手,或是提供構建的方法指引。
無論你是產品經理還是設計師,你會發現商業場景的 AIGC,幾乎都沒有辦法通過一段需求描述或是簡單的 Agent 對話就搞定的,你需要更專業更復雜的 AIGC 過程,那么如何理解復雜?實現專業?本系列會給你帶來一些啟示。
更多AI-Agent 資訊:
在過去兩年不到的時間里,AI 絕對是一個熱門話題,同時帶來的也是各種 AIGC 的嘗試與數字化創新,我們迫切期望用 AI 來提升產出效率或帶來新的風口,經過了兩年的時間,風風火火的 AI 似乎又放緩了腳步,被 AI 沖擊的人或事物好像也沒有想象中那么多,但 AI 的進步或商業化應用的腳步卻是有跡可循的,可謂是大模型小應用。
這兩年里已經有越來越多的人或企業用上了大模型的問答、AI 多媒體生成、智能體(Agent)、工作流,其中大模型是最為常見的,能夠直接與用戶進行多模態溝通,并給予解答。多媒體 AI 生成方面已經覆蓋了圖像、音頻、視頻等多領域,在廣告營銷方面大放光彩。而帶有周期記憶的大模型配合一定的數據材料+工具就能訓練出智能體,用作解決某些特定場景的問題和內容生成,在個人助手或企業服務中有著廣泛的應用;至于工作流則作為構建智能體或特殊 AI 工具的特定形式,被漸漸帶入 AIGC 廣泛的視野中。
過去的兩年里,專業的智能體平臺也在迅速發展,并且有數以萬計的智能體被發布使用,其中字節的扣子是知名度最高的,其次還有百度的文心智能體平臺、支付寶的百寶箱、Dify、Link AI 等,他們的出現均是為了便于我們構建自己的智能體助手或是特定工作流。
大模型開發或訓練對普通人比較難,但在這個 AI 迅速發展的時代,我們不妨站在巨人的肩上,思考一下從個人工作提效的視角,如何來構建自己的智能體或是工作流?
1. AI Agent (AI 代理)
其實 AI Agent 并不是這兩年才出來的概念,一般資料會說是一種能夠感知環境、進行決策和執行動作的智能實體?。其實你可以淺顯理解成是一個有記憶力,能夠學習指定資料和調用程序工具來完成任務的AI代理助手,所謂的感知環境就是能夠接收用戶的指令或是通過傳感器采集數據,然后大模型會根據指定資料學習來的知識,調用工具來自動的實現用戶目標或優化收集到的數據,并且會在每次執行優化過程中學習提升,說到底一個AI Agent是否好用,還要看AI大模型是否牛掰,以及喂的知識庫是否專業可靠,也因此帶出了如RAG這些知識庫索引技術,目的就是為了讓AI更高效準確的從知識庫獲取信息,這個有機會再深入吧。
2. AI Workflow (AI 工作流)
當你在考勤程序上提交了一條請假申請,AI 助理判定你的請假理由合理就自動轉達給老板進行最終審批了,那么這套介入了 AI 的數字化審批流程就可以看成是 AI Workflow。淺顯的理解就是一條搭載了各種 AI 模型或工具插件的數字化生產流程,可以根據需求將數據不斷的加工執行得到我們最終想要的結果,他們由一系列數字化插件與 AI 模型根據明確的任務次序組成,每個步驟都有清晰的輸入和輸出規范,整個流程高度結構化且可預測,同時也是大多復雜 Agent 或智能工具編排開發不可繞開的一種形式,工作流編排能夠有效地管理和協調這些插件或 AI,確保 Agent 能夠高效、可靠、精準地運行。
3. 兩者的優勢差異
AI Agent
借助大模型(LLM)的智慧與學習能力,Agent 有更強的理解分析與自主決策能力,能夠更好的適應復雜的場景與信息處理,并且可以根據過往的數據進行深度學習和優化提升,適合相對開放的業務場景輸出,但靈活開放的同時,也會帶來一些不可控或未知。
AI Workflow
則更注重人為預定的執行路徑和標準化的生產流程,可控性強,結果可預測,效率高,有一定擴展性,適合處理結構化、重復性任務,AI 或大模型主要擔任其中的內容加工與數字化資產生成相關,但同時工作流本身就是一套流程自動化的方法,應用場景也相當廣泛。
你是否發現,大部分職能工作都有自己的一套流程和方法論,就像是做飯得有菜譜一樣。這些流程和方法論能讓我們更快更好地完成生產工作,當然捏,時不時的我們也會根據需求適當的調整一下流程或是方法嘛,就好比說客人跟你將喜歡吃辣一點,那么我們就適當的多加一些辣椒。
倘若你是數字化辦公,那些結構穩定重復的作業不就妥妥的一條工作流嘛,因為工作流是代碼或程序背景條件下的自動化辦公流程,那么我們把一些工作事項整成一個個工作流讓 AI 來完成!是不是!對,恭喜你也獲得一頭賽博牛馬~
那么先讓我們從工作流開始吧,掌握復雜 AI-Agent 構建的底層思維,教你如何一步步搭建自己的賽博牛馬。
AI 工作流的概念我們已經清楚了,那么正式聊聊工作流的結構與搭建思路~
1. 工作流的基本構成
工作流目標:這個工作流的用途價值(相當于老板下達的需求目標)
起點終點:任務的起點設置與最終的交付結果(相當于老板提出的需求到執行結果)
節點:構成完整流程的局部階段或是事件單位,它們通常由一個或多個任務構成(相當于一個產品研發組織中的小部門,如設計部、產品部)
任務:用作完成和實現節點目標的各個最小運行任務單位(相當于小部門接到需求后,拆成若干小任務開始分工,然后根據任務要求開始標準執行輸出)
連接:用作編排各個任務節點關系或步驟的“藥引子”(相當于產品部輸出“PRD”連接設計部,設計部輸出“UI”連接研發部,用作規范內容輸入輸出的字段參數,最終得出老板要的結果)
條件:用作控制各個任務節點連接的條件判斷,即準入準出(相當于設計任務完成后需要給設計總監看一下是否合格,是一種嚴格執行和標準化的體現)
2. 賽博餐廳上線,帶你速通工作流
首先我們用一套虛擬的數字化餐廳的菜品制作流程來演示一遍工作流是如何搭建和工作的,背景是在一個專業數字化的制菜工作流平臺,并且有著豐富的任務插件或 AI 工具可用;
目標背景:流程目標是電子菜,因為是虛擬的工作流制作,所以有一些節點或任務不會特別細致,就像是在玩游戲一樣,不要太在意哦~
Step1. 首先流程的起點是點菜(菜名數據),最后是上菜(菜品結果)
Step2. 根據預設,我們將配菜作為第一個節點,主要是找到插件或 AI 完成菜品的食材配置
Step3. 接著是備菜節點,這個節點里的任務會根據菜品將食材進行清洗配切準備
Step4. 然后是烹飪節點,這個節點里的任務主要是完成調味跟燒菜
Step5. 燒好菜了,你知道的,我們要裝盤~
Step6. 最后!當然是上菜啦~
此時我們已經得到了一套電子菜的基本生產流程了,流程里已經有了關鍵節點或是任務,并且有一套可行的線性關系編排,用來保證節點任務之間能夠有序運行,這些很重要,不信你看看我這套流程~
我想你一定會吃的很開心,連我的盤子碎片一起嗦溜吧 hhhh
好啦,那么讓我們繼續將節點關系和條件正確地完善起來
這個時候我們已經有一套簡易的工作流結構了,但,讓我們再完善一下“節點的任務”跟用于連接節點任務的“字段數據”看看~
目前為止,我們已經清晰了基本流程,并且規范了連接關系與任務插件或 AI 的選用編排,他們已經大致能夠將顧客下單的菜名逐步加工成目標菜品了,這些任務插件或 AI 模型都是平臺提供的,總之它們能搞定自己對應的任務,厲害的模型甚至能一次搞定多個任務,當然了,這些程序模型或插件的底層或背后也可以是這樣一套工作流,只要你規范好其運行的輸入輸出條件或結果,然后封裝成一個固定的插件單元即可。
那么接下來以“配菜”節點為例,我們將任務 1 插件背后的工作流再一次的剖析看看,究竟有哪些節點或任務構成。
到這里一套工作流的構建我想你應該心里有數了,這些節點任務的接口就像是電子積木一樣,我們設計好流程、數據與條件,將任務插件正確連接起來,保證接口數據能夠通過起始參數一步步的變成最終所需的結果即可。
3. 任務或節點的典型結構
你可能在想,一個 AI Workflow 這樣就可以了嗎?還不夠,對于實際節點任務的連接關系我得再補充一下。
細心的你一定已經發現了些特征,這些單元是不是特別像一個電子元件或是函數?是的,以開發視角來看,他們就是一堆模型接口,配置好輸入字段參數請求接口,然后接口根據輸入條件進行運算并輸出預期的結果。
你要是還不能理解就把單個任務或是節點看作一個人,把米飯跟火龍果吃進去,然后拉出紅色的翔,輸入是米飯+火龍果,經過一頓消化,輸出是紅翔~
因此他們具備輸入、輸出、參數配置三大結構特征,參數配置就是輸入數據的條件設置,可以是多個不同類型的設置,可以控制最終輸出結果的走向,相當于對前面那個吃米飯+火龍果的人進行條件要求,要求他多吃幾個火龍果,這樣就可以獲得更紅的翔了~
當然了,也有些簡單的插件單元只用作單一的輸入或是輸出任務,甚至可以直接執行,不需要進行手動的參數配置。
另外一個單元的輸入輸出參數可以是多對多關系,例如前面那個吃飯+火龍果的人,他輸入到肚子里的就是多個類型的食物,最終輸出的除了紅翔其實還有液體哦 [暗中觀察]
然后再說說輸入輸出的數據類型,這些數據通常由字段(參數名)+具體參數+數據格式構成,例如“姓名:泡泡”中,姓名就是的字段,泡泡就是字段的參數,參數類型就是中文字符串,若是“年紀”這個字段,那么參數的類型基本就是數值。
還記得前面賽博餐廳的例子嗎,在現實里,每個節點任務之間的輸入輸出也具備以上三個屬性,就像下面圖里例舉的一樣,「配菜」的輸入字段是菜名,參數則是一個具體的菜品名稱,類型則是傳遞這個信息的一個載體,例如便簽;
所以在真實的 AI 工作流構建時,同樣也需要注意到這些字段的格式類型,他們被用作規范輸入輸出的數據格式,例如輸入一段文本(類型是字符串),最終交付一張圖像(類型是圖像),這便是典型的文生圖模式,這里我給一些高頻的基礎字段類型了解一下;
在前文提過,為了更準確的控制結果輸出,就免不了一些參數配置,即使工作流平臺提供了豐富的任務節點或是插件,但,我們僅僅只是圍繞基礎流程把他們組合連接一下是不夠的。
在實際的工作流任務或節點應用時,還有很多的部分需要由設計者來完成字段參數的設定與配置,這樣任務插件之間才能正確工作起來,就如下圖這些頭疼的玩意兒~
但也別急著頭疼,通常這些玩意兒就是對應任務插件的預設配置而已,或者是 AI 模型工作的提示詞,當你知道了任務節點的用途與條件后就不會難懂了,那么現在讓我們在賽博餐廳的工作流中也展示一些必要的節點任務配置看看如何~
如圖上所示,我們為“點菜”跟“裝盤”節點補充了任務執行所需的字段參數配置,是不是也不難理解?
既然要求做任務執行,那么任務執行的標準或必要條件你肯定得通過字段參數的形式輸入給任務插件了。
那么工作流僅僅就這樣?別急別急!
我再講一點點靈活擴展的方法思路,說到底工作流是一系列程序與數據交互,那么只要程序加工的插件或模型夠豐富夠智能,我們不就可以根據訴求鳥槍裝成大炮哇!
還是我的賽博餐廳,既然是一家餐廳,那我們可得有特色了,所以我們應該有一套限定風味的菜單,而不是大雜燴,所以先上一個點菜系統;
這時我們就有一套預制的菜品菜單了,并且菜品圖正是我們賽博餐廳里生產的,可不是網圖哦~
接著考慮到要調用食材倉庫,我們給制菜流水線再加一個食材分析節點,用作更好的采購和管理食材,并且增加一個用戶反饋節點來改善菜品,那么開始操辦~
目標一:食材采購管理
設計思路:每次配菜都會有一套食材表單,可以作為輸入的基礎數據,中間則添加一套 AI 模型,負責按照周月季不同的周期來整理和分析食材的用量存量趨勢,以及保存周期規劃,最終輸出一套符合采購系統的數據表,使得食材倉庫合理高效運行。
目標二:用戶反饋優化
設計思路:首先需要收集到有效的用戶反饋,其次要對應到菜品,以及我們期望的反饋,所以我們在上菜流程上擴展一個用戶反饋節點來連接用戶,并且借助 AI 設置一套符合我們賽博餐廳的菜品意見表,這個表是用戶選填的,但是一定會在用餐結束后記錄菜品名稱與用餐結果圖,當然,如果用戶提供了反饋就更好了。
那么反饋結果呢?不要急,我們會通過指定的數據格式先輸入到一個“菜品優化分析”的 AI 模型任務節點上,然后將優化結論輸出到“配菜”節點中的“廚房小能手”AI 模型上,以及烹飪節點中的烹飪方法知識庫上,這樣我們就可以得到優化后的烹飪菜品了。
那么這么一套賽博餐廳的工作流模擬搭建就告一段落了,其實只要有夠豐富的插件或模型,還有你豐富的想象力,小小的積木也能被你搭建成豪華的城堡,希望這一套賽博餐廳下來,能幫你把流水線的概念與技巧吃透。
下一期,通過 ComfyUI 工作流作為案例教你如何快速上手工作流平臺與搭建工作,為后續案例實踐作基礎鞏固。
感謝耐心閱讀,有疑問可留言交流,野生作者一個,如果覺得寫的還行,就點贊關注一下吧,下次更新先通知你~
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
標志設計標準教程
已累計誕生 729 位幸運星
發表評論 為下方 20 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓