「失敗の積み重ね」がLLMを生んだ（後編）— Attentionからスケール革命、そして整列へ
文脈をどう扱うかからLLMの完成まで。RNNの構造的限界、Attentionの誕生、Transformer、GPT-3のスケール革命、RLHFによる整列、そして現在の効率化の時代までを追います。
LLM
「失敗の積み重ね」がLLMを生んだ（前編）— 数学の限界から意味の幾何学へ
LLMは無関係な問題の副産物だった。チューリングの計算可能性、シャノンの情報理論、パーセプトロン、バックプロパゲーション、GPU、そして言葉をベクトルに変えるWord2Vecまでを追います。
RAGをファインチューニングで置き換えられる？ KB検索の選択肢を調べて考えてみた
社内KB検索でRAGをファインチューニングに置き換えられるか。ファインチューニングが実際に学ぶもの、純粋IRやロングコンテキストが勝つ場面、それぞれのコストを整理します。