或許老師們會聽過本書作者Terrence Sejnowski教授的名字是因為他跟Barbara Oakley 合開了「學習如何學習」的線上課程以及合寫了一系列相關的書籍。但他同時也是美國最傑出的AI科學家之一。在他的新書
ChatGPT and the Future of AI中，討論了LLM的核心技術跟「哲學問題」
本書分為三個部分：第一部分概覽大型語言模型LLMs目前的狀況、第二部分向您介紹LLMs 核心的Transformer架構（這段我真的看不懂）、第三部分則是關於未來的展望。重點在於AI如何演進及其對社會的影響。借鑑對人類大腦的研究以推動LLM的進展。甚至AI和neuroscience（神經科學）的概念框架正在融合加速彼此的進展。
以下節錄我覺得有收穫的點
圖靈測試主要是針對AI進行，目的是觀察AI如何做出跟人類一樣的反應。但作者提出了LLM可能是進行一種更複雜的逆圖靈測試，透過prompt和回應來測試我們prompt和對話的智慧。你越聰明，你的prompt越聰明，LLM看起來就越聰明。如果你有熱情的視角，LLM將加深你的熱情。
-談論到思考與意識
笛卡耳曾說：「我思故我在」根據我能思考這個事實，所以推斷出「我」的存在。思考也是一個難以界定的詞彙，有些人認為思考是一連串的邏輯思維、想法及內心對話。但我們需要明確的定義以回答LLM在回答問題、寫詩或解數學問題時，是否在思考。
-作者還有小抱怨一下美國的教育過於重視理解而忽略練習
人類思考可以分為快與慢的思考系統，大腦需要這兩種思考系統的平衡。但要塑造「快」思考系統需要大量的練習才能內化成習慣，才能將知識轉化為可自動執行的技能。但如果將大量練習摒除在學習之外，讓學生可以隨時查閱他們需要知道的東西，但如果只著重在「慢」系統的培養，就等於要短跑選手只用一隻腳就跑得快。
本書的最後更以一個結合音樂、科技及詩意的prompt作為結尾
Write a “Hello, World!” Python program in the style of Stevie
Wonder
但我試了好幾次也無法重現本書最後的範例。.png)
.png)
留言