「一連串的失敗」造就了 LLM(下篇)— 從 Attention 到規模革命與對齊
從如何處理脈絡到 LLM 的完成:RNN 的結構性極限、Attention 的誕生、Transformer、GPT-3 的規模革命、RLHF 對齊,以及效率化的時代。
從如何處理脈絡到 LLM 的完成:RNN 的結構性極限、Attention 的誕生、Transformer、GPT-3 的規模革命、RLHF 對齊,以及效率化的時代。
LLM 是一連串無關問題的副產品:圖靈的可計算性、夏農的資訊理論、感知器、反向傳播、GPU,以及 Word2Vec。
知識庫檢索能不能用 Fine-tuning 取代 RAG:Fine-tuning 真正學到的是什麼、純 IR 或長脈絡勝出的時機,以及各自的成本。
AIMock 在單一連接埠上模擬整個 AI 技術堆疊(LLM、向量資料庫、MCP、A2A),讓智能體測試套件在三秒內跑完,而且每次輸出都相同。
用 AI 智能體重做這個部落格的 logo 與程式碼字型:壞掉的 SVG 字形、用正規表達式算出的邊界框、猜錯的漢字,以及最後長出來的 /logo skill。
gpt-image-1 與 DALL-E 3 的架構差異:自迴歸的 token 生成與反覆去雜訊、離散與連續的壁壘、DiT,以及 2026 年三方並立的市場。
從對等性、Agent Card 能力發現與非同步任務管理,說明 MCP 單獨為何不足以支撐智能體間通訊,並解析兩個協定為何都選擇 HTTP 作為基礎。