雖然因為另有活動導致我11點就離開，無法聽到許多我自認為的好友如Vivi、Peggy還有海馬的Vibe Coding分享。
但我私心最喜歡的是91App團隊的 李昆謀 Happy、吳剛志 Andrew及陳俊毅Levi的分享，對我來說他們三個是從各自的角度來說明91 app過去是怎麼以LLM為核心重新打造工作流程。
日前看到OpenaAI的姚順雨（發表ReAct及Tree of thoughts的強者）發了一篇部落格文章叫The Second Half，主要是說目前正在AI的下半場，我們的重心該從從解決問題到定義問題。在這個新時代，評估(evaluation)變得比訓練(training)更重要。我們不再只是問：「我們能夠訓練一個模型來解決某個問題嗎？」，而是要問：「我們應該訓練AI去做什麼，以及如何衡量真正的進展？」要在AI的下半場茁壯成長，我們需要及時轉換思維與技能，也許更接近產品經理。
而91 App團隊的分享就是展現了他們實際在工作流程中如何實際透過評估(evaluation)以終為始來定義問題及LLM的表現，而衡量LLM的表現的benchmark來自於真實的場景跟使用者的實際需求。91App 是如何在反覆的迭代中找出LLM跟實際應用的落差並透過各種方法以滿足使用者的需求是我最大的收穫。
#AI不是產品
#整合AI解決過去沒被滿足的需求
#使用者經驗才是產品
沒有留言:
張貼留言