LLMは「考えて」いない:トークン予測の仕組みから理解するハルシネーション・プロンプトエンジニアリング・セキュリティ
次のトークン予測を起点に、temperatureやtop_pが制御するもの、ハルシネーションが構造的である理由、プロンプトエンジニアリングが効く仕組み、システムプロンプト漏洩攻撃、そしてExtended Thinkingの位置づけを解説します。
次のトークン予測を起点に、temperatureやtop_pが制御するもの、ハルシネーションが構造的である理由、プロンプトエンジニアリングが効く仕組み、システムプロンプト漏洩攻撃、そしてExtended Thinkingの位置づけを解説します。
文脈をどう扱うかからLLMの完成まで。RNNの構造的限界、Attentionの誕生、Transformer、GPT-3のスケール革命、RLHFによる整列、そして現在の効率化の時代までを追います。
LLMは無関係な問題の副産物だった。チューリングの計算可能性、シャノンの情報理論、パーセプトロン、バックプロパゲーション、GPU、そして言葉をベクトルに変えるWord2Vecまでを追います。
社内KB検索でRAGをファインチューニングに置き換えられるか。ファインチューニングが実際に学ぶもの、純粋IRやロングコンテキストが勝つ場面、それぞれのコストを整理します。
AIMockはLLM・ベクトルDB・MCP・A2Aを1つのポートでモックします。エージェントのテストスイートは3秒以内に完了し、毎回同じ出力を返します。
AIエージェントと一緒に、このブログのロゴとコード用フォントを作り直した記録です。壊れたSVGの字形、正規表現で計算したバウンディングボックス、間違った漢字、そしてそこから生まれた/logoスキルを扱います。
gpt-image-1とDALL-E 3のアーキテクチャの違いを、自己回帰的なトークン生成と反復ノイズ除去、連続と離散の壁、DiT、そして2026年の三つ巴市場から解説します。
MCPだけではエージェント間通信に足りない理由を、対等性と拒否・Agent Cardによる能力発見・タスク管理から整理し、A2A v1.0がgRPCを加えMCPがHTTPに留まる理由まで解説します。