GROUP BY ROLLUPとスカラーサブクエリでtext-to-SQLエージェントの文中計算をなくす — 禁止ルールでは止まらなかった集計とファンアウトのミス
text-to-SQLエージェントが、行を手で足すなという規則を破りました。GROUP BY ROLLUPとスカラーサブクエリは、規則ではなく手順そのものを消して直しました。
LLM
LLMは「考えて」いない：トークン予測の仕組みから理解するハルシネーション・プロンプトエンジニアリング・セキュリティ
次のトークン予測を起点に、temperatureやtop_pが制御するもの、ハルシネーションが構造的である理由、プロンプトエンジニアリングが効く仕組み、システムプロンプト漏洩攻撃、そしてExtended Thinkingの位置づけを解説します。
「失敗の積み重ね」がLLMを生んだ（後編）— Attentionからスケール革命、そして整列へ
文脈をどう扱うかからLLMの完成まで。RNNの構造的限界、Attentionの誕生、Transformer、GPT-3のスケール革命、RLHFによる整列、そして現在の効率化の時代までを追います。
「失敗の積み重ね」がLLMを生んだ（前編）— 数学の限界から意味の幾何学へ
LLMは無関係な問題の副産物だった。チューリングの計算可能性、シャノンの情報理論、パーセプトロン、バックプロパゲーション、GPU、そして言葉をベクトルに変えるWord2Vecまでを追います。
RAGをファインチューニングで置き換えられる？ KB検索の選択肢を調べて考えてみた
社内KB検索でRAGをファインチューニングに置き換えられるか。ファインチューニングが実際に学ぶもの、純粋IRやロングコンテキストが勝つ場面、それぞれのコストを整理します。