「失敗の積み重ね」がLLMを生んだ(後編)— Attentionからスケール革命、そして整列へ
文脈をどう扱うかからLLMの完成まで。RNNの構造的限界、Attentionの誕生、Transformer、GPT-3のスケール革命、RLHFによる整列、そして現在の効率化の時代までを追います。
文脈をどう扱うかからLLMの完成まで。RNNの構造的限界、Attentionの誕生、Transformer、GPT-3のスケール革命、RLHFによる整列、そして現在の効率化の時代までを追います。
LLMは無関係な問題の副産物だった。チューリングの計算可能性、シャノンの情報理論、パーセプトロン、バックプロパゲーション、GPU、そして言葉をベクトルに変えるWord2Vecまでを追います。
社内KB検索でRAGをファインチューニングに置き換えられるか。ファインチューニングが実際に学ぶもの、純粋IRやロングコンテキストが勝つ場面、それぞれのコストを整理します。
AIMockはLLM・ベクトルDB・MCP・A2Aを1つのポートでモックします。エージェントのテストスイートが3秒以内に、毎回同じ出力で完了します。
AIエージェントとブログのロゴとコードフォントを作り直した記録です。壊れたSVGの字形、正規表現によるバウンディングボックス、間違った漢字、そしてそこから生まれた/logoスキルを扱います。
gpt-image-1とDALL-E 3のアーキテクチャの違いを、自己回帰的なトークン生成と反復ノイズ除去、連続と離散の壁、DiT、そして2026年の三つ巴市場から解説します。
MCPだけではエージェント間通信に足りない理由を、対等性・Agent Cardによる能力発見・非同期タスク管理から整理し、両プロトコルがHTTPを選んだ理由まで解説します。