← 返回 AI 筆記

AI Agent 馴服實錄 #01

當 AI 工程師不受控,我決定再派一個 Agent 去管它

·

本系列為 AI 學習日誌。(作為一個系列,希望還有第二篇,應該啦)

站在海景第一排,等著被浪淹死的 PM

AI 浪潮崛起,自然人人都逃不掉。作為一個純軟產業、Web/App 相關產業的 Product Manager,完全就是站在海景第一排,等著不知道什麼時候被浪淹死。

過往幾個月中,從最初使用 Figma Make 來產 Prototype,到後來 Claude Code 橫空出世,捲起一股 Agent 流,在工作上或多或少也使用不少 AI 來協助自己推進工作進度。在使用 AI 的過程中,我認為這樣的工作型態很適合我,也因此希望更加深入學習這部分的知識。

最近因緣際會得到了一個月的長假,也剛好遇到 OpenAI Astra 模型問世,直接訂閱 ChatGPT Pro 5x,也就是 NT$3300 的方案。結果大概過不到一週,ChatGPT Pro 20x 就再也不開放訂閱,稍稍有點後悔沒有直上 20x。

在使用 AI 的過程中,我期待可以真正了解何謂真正的「Agent 開發」,或者開發者究竟該如何駕馭「AI Agent」以提高開發速度,同時 AI 可以說是真正的日新月異,每隔幾天就會有新名詞、新技術、新模型、甚至是新產品的問世。我努力摸索究竟該學會多少東西,才能算是一個合格的 AI Agent 使用者(或者如同網路上的笑話:只要你學得夠慢,就可以不用學習)。總之,這邊就是記錄我使用 AI 過程中一些學習的心得,出發點皆是我個人使用經驗、網路學習、Agent 的說明等等,有些知識受限於我的認知不夠,可能不夠正確,也歡迎提出糾正。

AI 等於又貴又不受控的 RD?

身為一名 PM,以前自然需要寫出嚴謹的 PRD 讓公司 RD 看得懂,甚至必須提供 Wireframe。但與 AI 協作的過程中,我可能只會列個四、五點功能的核心目的(目前聽過一種形容是:產品意圖 Product Intent),並且補上一些想像中的使用客群以及使用情境,更多時候甚至是想到什麼就說什麼。

而 Astra 方案真的很貴,Pro 5x 的週使用量我通常在一兩天內就會全部用完(總共約 8-12 小時的連續開發時間)。我使用 AI 並學習新知的方式是,我有一些構想,希望藉由 Agent 幫我實作出產品。產品內容是什麼倒不是太重要,我主要想藉由完成這個 App,達到學習並實際使用它的目的。

AI 當然就開始按照我輸入的內容去開發,而且它會自行補完我沒有提到的部分。在常規的產品開發流程中,甚至我會利用 AI 自行補全的 Prototype 反過頭去完善我的 PRD。但回到個人開發、再也不需要跟人類 RD 溝通的情況,我便遇到下一個問題:如何提升 AI 產出的成品品質?

所謂的成品品質,並不是指 Code 的品質(畢竟我也看不懂),而是從介面、操作流程,到動畫、圖片、背景、配色,甚至是我個人的設計習慣等等。

Skill:給 AI 的新進人員手冊

要改善這部分的問題,第一個想到的解法自然是 Skill。最初我對一些 Agent 的術語其實一直很不熟悉,包括所謂的 Skill、MCP 等等。但研究之後才發現,Skill 其實可以算是一種「方法論」、「SOP」。

想像你工作團隊來了一個新成員,你給他一個新進人員手冊(當然實務上並不是每間公司都有⋯⋯但理想中應該每個新人都很希望有類似的東西可以快速上手),告訴他常用的工具、過往的檔案格式、具體操作步驟、甚至是團體協作風格等等。Skill 其實就是一份文件,教 AI Agent 按照規則做事。在實作的過程中我終於快速體驗到 Skill 的好處,同樣的注意事項不需要在不同專案中跟 AI 重複說明。

Skill 是一個可以共同、可遵循的規則。然而,對於一個產品的品質,我們有更多細節的部分需要去雕琢。在常規的產品開發流程中,我在規劃階段會花一兩天的時間畫完全部流程的 Wireframe,但當現在 AI 幾分鐘就可以產出比 Wireframe 更精細的東西,我需要解決的是:除了再畫個 Wireframe 告訴它每個細節都要按照我說的去執行以外,有什麼方法可以讓它自己認知到,它做出來的東西,看起來真的很難用?

AI 不是一個精細的工匠

一開始我會像是一個難討好的使用者,看到它生成的畫面太醜,就直接跟它說太醜,並且跟它說我想要什麼風格,甚至提供參考圖(當然,這是身為 PM 的職業慣性,一般使用者在提出意見的時候是絕對不會提供參考圖的),針對動畫、按鈕樣式、彈窗細節等等⋯⋯不夠好的一點一點告訴它。

我發現,也許 AI 在功能邏輯的實作上完成度非常高,但在 UI/UX 甚至是美感設計的品味上實在讓人堪憂。基於我不是一名設計師,我相信我對 AI 的要求,絕對沒有達到專業的標準。也許 AI 是一名好的工程師,但好的工程師總需要一名好的設計師共同去協作。在常規的產品開發流程中,PRD 完成後,跟設計有關的細節,會同步發給設計團隊,而 RD 只需要照著設計團隊給予的圖片、尺寸、規格等等進行開發。

而且難以理解的是,AI 可以憑我幾句話生出一個完整、可運作的成品。但要它修改一些細節,彷彿要了它的命一般。它改不好,甚至越改越爛,改出來的結果跟我說的內容差很多。AI 在大方向完成度可以達到非常高,但要它 100% 實作出你的想法,如同一個精細的工匠,不是很容易。

在這個方面,AI 倒不是比 RD 更笨,我相信如果我在 RD 開發告一段落之後,感覺哪裡有問題就叫他修改那裡,還只給示意圖不給設計稿,RD 也會暴怒。AI 自然不會暴怒,但我厭煩這種看一版、退一版,它很快地改好、我很快地說它改得很爛,反覆耗盡我的人力時間成本的過程——我需要有個人取代我的角色,毫無技術性地、只需要不停叫 AI 改東西。

AI 同時是一名比我更優秀的監督者

先前就聽說終極的 AI Agent 開發流是要讓多個 Agent 們自動分工進行一個開發流程,從開票、開發、測試、修正、驗收⋯⋯反覆完善產品過程中無需人類介入;或是利用 Agent 之間的協作,讓一個 Agent 監督另一個 Agent 以提高正確性,才算是最有效率的 Agent 使用方式。

我無法確定常見的「多 Agent 工作流」該如何建立,但在與 AI 深入認識的過程中,我養成了有任何問題就直接向我的 Agent 詢問的習慣,因此我直接對 ChatGPT 說:「你現在是一個 PM,請幫我去監督、審核另外一個正在執行的 Agent。」而 Agent 告訴我那是另一個「thread」,每個 thread 有自己的編號,甚至從 Agent 的處理內容來看,ChatGPT 本身就有設計支援跨 thread 工作的流程。我不確定其他人使用的「多 Agent 工作流」是如何運作,但 ChatGPT 跨 thread 工作的流程效果比我想像中顯著。

最大的差異是,Agent 很明顯比較聽得懂 Agent 的話。

假設一號 Agent 負責開發,我另開一個終端機頁籤稱為二號 Agent,二號被我指派為一名 PM,目標是提升產品品質,它會去瀏覽專案內的文件(文件都不是我自己寫的,而是我在跟一號溝通的過程中生成的),然後再看現在成品的模樣,並且提出應該要修改的部分。

首先出乎意料的是,我對一號百說不聽的美感需求,二號會自動列入改善項目之一,而更讓我驚訝的是,一號按照二號的命令進行實作後,修改的品質竟然大幅上升。許多細節到我都還來不及提的東西都有明顯的改善,二號確實就像是一個專業 PM,不單只是執行開發的指令,更有針對這個成品的好壞進行雕琢。

我得到的領悟是:原來跟在公司上班一樣,每個單位都有適合的溝通方式。

AI 工作越普及,Token 重要性越高

經過上述提升成品品質的方法跟努力後,我馬上就遇到開頭提到的問題:Token 消耗太快。

Pro 5x 的週使用量大概在 8-12 小時會使用完。我詢問 ChatGPT 為什麼消耗這麼大,原因主要來自三個層面:Astra 模型本身單價就高、跨 Agent 的相互協作,以及使用 Sub-agent(子 Agent)。

其中,「Agent 相互協作」跟「Sub-agent」是不一樣的工作邏輯。我中間曾為了想要省額度,請 AI 自動判斷工作複雜度,將較簡單的工作分派給 Sub-agent 並用比較低階的模型,但顯然,我並沒有節省到額度。因為 Sub-agent 的流程是:主 Agent 讀取專案後將任務交接給 Sub-agent、Sub-agent 再次讀取專案理解工作內容、Sub-agent 完成工作後主 Agent 又要再讀取一次結果驗收,同一件事情要兩個 Agent 跑過,改為低階模型省下的價差完全彌補不了反覆讀取專案的消耗。

開始使用 AI Agent 開發產品之後,發現 Token 消耗的速度驚為天人的快。目前做過的一些節省使用量措施包含:

  1. 優化 Agent、Skill 文件檔:精簡規則內容,若有新模型問世,建議都用最強模型審核,重構一遍文件。
  2. 規格先行:不直接進入開發,先請 AI Agent 完成 Wireframe 讓我參考確認,避免開發方向不如預期,事後反覆修改更浪費 Token。
  3. 簡化工作流:目前我的開發流程並不複雜,果斷捨棄 Sub-agent。
  4. 模型降級:朋友建議其實 Sol 就很夠用了(?)

但在撰寫這篇文章的同時,ChatGPT 就宣佈 Sol 跟 Luna 模型降價。我想在 AI Agent 生成的品質越來越高的同時,Token 的價值會跟著水漲船高,未來誰能夠擁有、使用更多的 Token,誰才掌握了兵家必爭之地。但作為一名平凡的使用者,到了未來我們應該更不需要擔心「如何節省 Token」,因為 Agent 一定會聰明到幫忙處理這些事情。

小結:一個 AI 初學者,試著窺見未來的模樣

用 AI 開發東西是一件非常有趣的過程。作為一個 PM,產品思維自然非常重要,但在台灣工作實務上,多數 PM 應該都被數不盡的會議、BUG 修正、版本管理等等繁瑣的執行項目淹沒,更別提和研發、設計、各單位溝通等等無數的情緒勞動工作漸漸消磨人類對於產品的熱情。

但跟 AI 協作的過程,反而需要非常專注回頭思考產品的本質是什麼,當人力時間資源、利害關係人管理都不再是你需要煩惱的事(除了你的錢包能不能負荷 Token 消耗之外),你想完成什麼樣的產品?當你不再需要工程師幫你改這改那,如何讓 AI 改出你想要的東西?

AI 能力的蓬勃發展足以讓所有人驚慌失措,當我如小嬰兒蹣跚學步、一點一滴學著如何使用 AI 的同時,也不禁開始想像,在 AI 的劇烈衝擊之下,未來我們的生活究竟會改變到什麼模樣呢?

希望這個系列的下一篇可以盡快產出。(只要我的週額度不要又在兩天內馬上燒光的話。)

( 聲明:本文為手工撰寫,並由 AI 修改部分專業內容。)

AI Agent 馴服實錄

  1. AI Agent 馴服實錄 #01(本篇)