OpenAI 連續 12 日「擳牙膏式」發表新產品,最後由 o3 模型作結。另一 AI 大型語言模型創業公司 Anthropic 的聯席創辦人 Jack Clark 指出,OpenAI 發表 o3 反映 AI 發展未有如外界所指般慢下來,反而預計來年進一步加速。但同時稱運算成本激增,成為 AI 技術一大挑戰。
Jack Clark 在今星期的個人電子報《Import AI》談到前東家 OpenAI 的新模型 o3,證明技術還有增長空間。不再單靠擴展模型參數去進步,而是另闢蹊徑結合傳統的加強學習(reinforcement learning,RL),令模型執行時有思考。
Jack Clark 認為,邊執行邊思考,讓 AI 模型有另一全新發展方向,也是 2025 年的趨勢。不過,這做法卻導致推理時需要更多運算資源。例如最強的 o3 需要的運算效能較基本版本多 170 倍,而 o3 基本版已較 o1 用更多運算資源,o1 亦比 GPT-4o 用更多運算。
過去的推理運算成本屬可預計,視乎參數規模和輸出長度。但 o3 在執行時用上 RL 輔助思考,令運算成本難以估計。
不過,o3 將大型語言模型與傳統 AI 演算法結合,Jack Clark 預計在 2025 年應是 AI 發展的方向,加速技術演進。