AstroブログをGoogleとChatGPTに見つけてもらう — robots.txt・JSON-LD・プレーンテキスト版・IndexNow

AstroブログをGoogleとBingに載せた方法。AIクローラーを名指しするrobots.txt、headに置いたJSON-LD、記事のプレーンテキスト版、デプロイごとのIndexNow送信を紹介します。

更新

白いカードに、Google Search Consoleのロゴとグレーのロゴタイプ。ロゴは赤・緑・青の高さの異なる角丸バーに黄色い虫眼鏡が重なった形
目次

はじめに

自分の記事のタイトルをそのままGoogleで検索したところ、何も返ってきませんでした。ブログは3言語で何か月も公開していたのに、Googleのインデックスには1本も載っていませんでした。

最初に疑ったのはoharu-tech-blog.vercel.appというホストです。実際の原因はもっと地味でした。サイトはどの検索エンジンにも登録されておらず、被リンクもなく、/robots.txtは404を返していました。

それを直すうちに、もう1つ疑問が出てきました。ChatGPTやClaudeは、何をもとに引用するページを選んでいるのでしょうか。答えはBingとBraveの検索インデックスで、ほとんど取得されていないllms.txtではありません。

今のブログは、robots.txtでAIクローラーを1つずつ名指しし、各記事をHTMLページと並べてMarkdownでも配信し、デプロイのたびに新しいページをBingへ知らせています。

1つのサイト、2つの送信経路サイトは2つの経路に分かれる。GoogleへはSearch Consoleでサイトマップを送信する。ChatGPTへは遠回りで、IndexNowが更新URLをBingのインデックスへ送り、ChatGPTの検索はBingがインデックスした内容を引用する。GoogleはIndexNowに参加していないため、どちらの経路も他方の代わりにはならない。検索エンジン回答エンジンoharu121.com67 pages
Search Console
サイトマップを送信
Google
オーガニック検索
IndexNow更新URLを送信Bingその背後のインデックスChatGPTBingのインデックスを引用GoogleはIndexNowに参加していない。どちらの経路も他方の代わりにはならない。
1つのサイトに2種類の読み手。リンクを並べる検索エンジンと、質問に直接答えて出典を示す回答エンジン(ChatGPTやClaudeなど)には、それぞれ別の入口が要る。

Googleはvercel.appのホストのクロール頻度を抑えるが、クロール自体はする

*.vercel.appは非常に多くのプロジェクトが使う共有サブドメインで、その中にはスパムも含まれます。そのため検索エンジンは、これをまとめてレート制限し、優先度を下げます。さらにSearch Consoleではドメインプロパティとして登録できず、URLプレフィックスとしてしか登録できません。

これで抑えられるのは検索順位です。評価の低いホストにあるサイトでも、クロール自体はされます。私のブログがインデックスにまったく載っていないことは、ホストでは説明がつきませんでした。検索エンジンが新しいサイトを見つける方法は、主に次の2つです。

  1. 他のサイトからのリンクをたどる
  2. 誰かが送信したそのサイトのサイトマップを読む

私のブログにはどちらもなく、Googleには見つけようがありませんでした。

検索での見つかりやすさ(SEO)に影響する問題を、影響の大きい順にまとめました。

問題影響
Search ConsoleにもBingにもサイトマップを送信しておらず、他サイトからの被リンクもないGoogleがサイトを見つける手段がない
*.vercel.appの共有サブドメイン検索エンジンにクロール頻度を抑えられ、順位も上がりにくい
/robots.txtが404を返す何もブロックしないが、クローラーにサイトマップの場所が伝わらず、AIクローラー向けのポリシーもない
hreflangとcanonicalが別のURLを指す各記事の多言語版の対応をGoogleが無視しうる

全ページが静的HTMLで、X-Robots-Tagもありませんでした。sitemap-index.xmlは3ロケールすべてを含めて200を返し、各記事にはすでにBlogPostingのノードがありました。つまりこのブログはずっとクロールできる状態で、私がその存在をクローラーに知らせていなかっただけです。

robots.txtがなくても、何もブロックされません。ファイルがなければ「すべてクロールしてよい」という意味になるからです。失うのは、やって来たクローラーにサイトマップの場所を教えるSitemap:行と、AIクローラーに対する方針の記載です。

検索エンジン向け: hreflang、ドメイン、Search Console

hreflangとcanonicalが別のURLを指していた理由

canonicalタグ(<link rel="canonical">)は、そのページの正式なURLを1つだけ宣言するタグです。検索エンジンがインデックスするのはこの正式なURLだけです。同じページに2つ以上のURLがある場合、それ以外のURLは複製として扱われ、インデックスされません。

src/i18n/config.tsのlocaleUrl()は、ナビゲーション、hreflang、RSSフィードのパスを組み立てる関数で、末尾にスラッシュを付けずに返していました。一方、canonicalタグとog:urlはAstro.url.pathnameから作られます。静的ビルドは各ページをフォルダ内のindex.html(例:blog/x/index.html)として出力し、フォルダのURLは/blog/x/になるので、Astro.url.pathnameはスラッシュで終わります。

2つのコード経路と、1ページに2つのURL2つの経路が1つのページのheadに流れ込む図。上の経路では、localeUrl()がナビゲーション、hreflang、RSSのパスを組み立て、末尾にスラッシュのない/blog/rag-vs-finetuning-kb-searchになる。下の経路では、ビルドが出力した<dir>/index.htmlからAstro.url.pathnameが決まり、canonicalタグとog:urlに使われて、末尾にスラッシュのある/blog/rag-vs-finetuning-kb-search/になる。2つのURLの違いは末尾のスラッシュだけ。localeUrl()パスを自前で組み立てるナビゲーションhreflang・RSSAstro.url.pathname<dir>/index.html からcanonicalタグog:url1つのページの<head>/blog/rag-vs-finetuning-kb-search末尾スラッシュなし/blog/rag-vs-finetuning-kb-search/末尾スラッシュあり1つのページに2つのURL。違いは末尾のスラッシュだけ。
同じ記事のURLを2つのコード経路が組み立てる。末尾にスラッシュが付くのは、2つのURLのうち片方だけ。

その結果、3言語すべての全記事に、スラッシュありとなしの2つのURLが混在していました。

blog/rag-vs-finetuning-kb-search/index.html(修正前)
<link rel="canonical" href="https://oharu121.com/blog/rag-vs-finetuning-kb-search/">
<link rel="alternate" hreflang="en-US" href="https://oharu121.com/blog/rag-vs-finetuning-kb-search">

スラッシュなしのURLは、同じページの2つ目のコピーでした。Vercelはどちらのパスにも同じHTMLを200で返し、canonicalタグが指すのはスラッシュ付きのほうだけです。

Googleはhreflangをヒントとして扱い、canonicalではないURLを指すhreflangは無視することがあります。つまり全記事の言語版の対応がGoogleに捨てられるおそれがあり、日本語で検索した読者に英語版の記事が表示されかねませんでした。

私はlocaleUrlを、常にスラッシュを付けるように変えました。これでlocaleUrl()とAstro.url.pathnameが作るURLが揃います。例外はパスの最後のセグメントにドットを含む場合だけで、/rss.xmlや/blog/<slug>.mdの拡張子を残すためです。

src/i18n/config.ts
export function localeUrl(locale: Locale, path = "/"): string {
const suffix = path.startsWith("/") ? path : `/${path}`;
const isFile = suffix.slice(suffix.lastIndexOf("/") + 1).includes(".");
const normalized = isFile || suffix.endsWith("/") ? suffix : `${suffix}/`;
return `${localePrefix(locale)}${normalized}`;
}

再ビルド後は、canonicalとhreflangの2つのタグが同じURLを指し、ナビゲーションのリンクもすべてcanonicalのURLを指すようになりました。

blog/rag-vs-finetuning-kb-search/index.html(修正後)
<link rel="canonical" href="https://oharu121.com/blog/rag-vs-finetuning-kb-search/">
<link rel="alternate" hreflang="en-US" href="https://oharu121.com/blog/rag-vs-finetuning-kb-search/">

サイトマップは各URLにlastmod(そのページの最終更新日)を付け、どのページを再取得すべきかをクローラーに伝えます。scripts/lib/article-lastmod.tsはこの日付をURLをキーにして持っていて、以前は自前でスラッシュを足していました。localeUrlがスラッシュを付けるようになった今、さらに足すとキーが//で終わり、サイトマップのどの<loc>(各エントリのURL)とも一致しなくなります。そうなるとエラーも出ないまま全記事のlastmodが消えてしまうので、私はこのスクリプトをlocaleUrlの出力をそのまま使うように変えました。

Cloudflareをプロキシなしで使ってoharu121.comへ移す

最初に選んだのは年3ドルの.clickドメインでしたが、エージェントが反対しました。安価な新しいTLDに直接の順位ペナルティはありません。ただしスパム目的の登録が非常に多く、インデックスされるのが遅くなり、リンクもされにくくなります。そこで私はoharu121.comを買いました。

blog.oharu121.comやwww.oharu121.comのようなサブドメインではなく、apexをそのまま使うことにしました。apexを使う別のサイトは今のところないので、apexを空けたままブログをサブドメインに置く意味がありません。www.oharu121.comは308でapexへリダイレクトします。

私はDNSをCloudflareのままにし、プロキシ(トラフィックをまずCloudflareのサーバーに通す機能)は今後もずっとオフにしました。Vercelがすでに自前のエッジネットワークからサイトを配信しているので、プロキシを入れるとCDNが二重になり、デプロイ後も古いHTMLが返る可能性があります。

もう1つの理由として、CloudflareのボットとAIクローラー向けのルールは、プロキシを通るトラフィックにしか作用しません。新しく追加したドメインには、エージェント型クローラーをブロックしたり、学習拒否の意思表示を送ったりするプリセットが適用されます。これは後述するrobots.txtの許可リストを上書きしてしまいます。DNSのみのレコードにしておけば、クローラー方針はrobots.txtだけで決まります。

Vercelの前段に置いたCloudflare:プロキシありとDNSのみ2段の図。プロキシありでは、リクエストはブラウザーやクローラーから、独自のキャッシュとボットルールを持つCloudflareのエッジを通り、Vercelのエッジを経てoharu121.comに届く。Cloudflareのエッジには3つの問題がある。デプロイ後も古いHTMLを返しうること、ボットルールがrobots.txtを上書きすること、Vercelが証明書を発行できないこと。DNSのみでは、Cloudflare DNSはアドレスの問い合わせに答えるだけで、リクエストはブラウザーからVercelのエッジへ直接届く。プロキシあり(オレンジの雲)ブラウザーまたはクローラー
Cloudflareのエッジ
キャッシュ+ボットルール
Vercelのエッジ
キャッシュ+TLSoharu121.com× デプロイ後も古いHTMLを返しうる× ボットルールがrobots.txtを上書きする× Vercelが証明書を発行できないDNSのみ(グレーの雲)ブラウザーまたはクローラー
Vercelのエッジ
キャッシュ+TLSoharu121.comDNS照会
Cloudflare DNS
アドレスを答えるだけDNSのみ:エッジネットワークは1つで、クローラー方針はrobots.txtだけで決まる。
プロキシありではCloudflareのエッジがVercelのエッジの前に入る。DNSのみなら、アドレスを答えて経路から外れる。

CNAMEでapexをVercelに向ける

Vercelがapexに求めたのは、多くのガイドが今も載せている汎用のcname.vercel-dns.comではなく、プロジェクトごとのホスト名を指すCNAMEレコードでした。

CNAMEレコードは、ある名前を別の名前の別名にするレコードです。oharu121.comを問い合わせると「これはxxxx.vercel-dns-017.comの別名です」と返され、Vercelがこのプロジェクト用に発行したそのホスト名を改めて問い合わせて、IPアドレスを得ます。Aレコードは名前を1つの固定IPアドレスに結びつけるので、IPが変わるたびに書き換えが必要です。CNAMEなら、ターゲットを最新のIPに対応づけるのはVercelの役目なので、私の側では何も変える必要がありません。

ただし、DNSの規則はapexへのCNAMEを禁じています。apexにはNSレコード(そのドメインの問い合わせに答えるサーバー)とSOAレコード(ドメインの管理情報)が必ず必要で、「この名前のすべてを別の名前に委ねる」というCNAMEは、この2つと衝突します。

それでも動くのは、CloudflareがこのCNAMEを外に送らないからです。CNAMEフラット化(CNAME flattening)はDNSの標準ではなくCloudflare独自の機能で、CNAMEのターゲットのIPを自分で引いて通常のAレコードとして応答します。この機能がないDNSプロバイダー向けに、VercelのナレッジベースはapexにAレコード76.76.21.21を勧めています。Vercelの設定画面にも、このAレコードが引き続き使えると書かれています。

サブドメインのCNAMEと、フラット化したapexのCNAME2段の図。サブドメインでは、DNSリゾルバーがCloudflare DNSにwww.oharu121.comを問い合わせ、xxxx.vercel-dns-017.comを指すCNAMEを受け取る。続けてVercel DNSにその名前を問い合わせてIPアドレスを得る。問い合わせは2回。apexでは、リゾルバーがCloudflare DNSにoharu121.comを問い合わせる。CloudflareはNSとSOAとCNAMEを持ち、CNAMEのターゲットを自分でVercel DNSに照会して、通常のAレコードで応答する。問い合わせは1回で、CNAMEはCloudflareの外に出ない。サブドメインのCNAME:問い合わせは2回DNSリゾルバーブラウザーなどの代わり① www.oharu121.com ?CNAME → xxxx.vercel-dns-017.com
Cloudflare DNS
oharu121.comに応答② xxxx.vercel-dns-017.com ?A → IPアドレス
Vercel DNS
vercel-dns-017.comに応答apexのCNAMEをCloudflareがフラット化:問い合わせは1回DNSリゾルバーブラウザーなどの代わり① oharu121.com ?A → IPアドレス
Cloudflare DNS
NS · SOACNAME → xxxx.vercel-dns-017.comこのCNAMEは外に出ない照会
Vercel DNS
IPアドレスを返すフラット化すると、apexは通常のAレコードで応答するので、NSやSOAとCNAMEが並ぶことはない。
サブドメインではリゾルバーが自分でCNAMEをたどり、apexではCloudflareが代わりにたどってAレコードで応答する。

プロジェクトのVercel Domains画面。oharu121.comは赤いInvalid Configurationの表示で、308でwww.oharu121.comへリダイレクトしている。DNS Recordsタブは、@に置くCNAMEを、伏せられたプロジェクト固有の値とProxy無効で求めており、従来のcname.vercel-dns.comと76.76.21.21も引き続き使えると注記している。www.oharu121.comもInvalid Configurationで、oharu-tech-blog.vercel.appはValid Configurationと表示されている

レコード追加前。VercelはCloudflare側に置くべきCNAMEを、プロキシ無効で示している。

oharu121.com向けに入力済みのCloudflareのAdd recordダイアログ。TypeはCNAME、Nameは@、Targetは伏せられたプロジェクト固有のvercel-dns-017.comのホスト名、Proxy statusのトグルはオフでDNS only、TTLはAuto

同じレコードをCloudflareに入力したところ。@(apexを表す)がプロジェクト固有のホスト名を指し、プロキシはオフ。

レコード伝播後の同じVercelのDomains画面。oharu121.comがValid ConfigurationかつProductionと表示され、www.oharu121.comとoharu-tech-blog.vercel.appはどちらもValid Configurationで、308でoharu121.comへリダイレクトしている

伝播後。apexが本番ドメインで、wwwも旧vercel.appホストもそこへリダイレクトする。

旧ホストは、どのパスにも新ドメインの同じパスへの308(恒久的なリダイレクト)を返します。たとえば旧ホストの/blog/x/は、新ドメインの/blog/x/へリダイレクトされます。リダイレクトをたどるクローラーは旧ページを一切読まないので、canonicalタグよりも確実に2つのホストが1つにまとまります。

コード側では、1行変えるだけで移行が済みました。robots.txtのSitemap:行、サイトマップ、RSS、llms.txt、canonicalタグ、IndexNowのスクリプトを含め、サイト上のすべての絶対URLは1つの定数SITEから組み立てられています。

src/lib/site.ts
export const SITE = "https://oharu121.com";

Search Consoleにドメインプロパティを登録する

Search ConsoleのドメインプロパティはDNSのTXTレコードで検証し、apex、www、HTTPとHTTPS、将来のサブドメインまでまとめてカバーします。GoogleとCloudflareには、そのレコードを代わりに書いてくれる1回限りの認可フローがあります。

Cloudflareの1回限りの認可画面。oharu121.com向けにGoogleが追加するDNSレコードとして、apexにTXTレコードを置き、内容は伏せられたgoogle-site-verificationの値、TTLは1時間、Proxy statusはDNS onlyと並んでいる

検証レコードはGoogle自身が1回だけ書き、プロキシはオフのままにする。

最初はサイトマップをsitemap-index.xmlというパスだけで送信し、「Invalid sitemap address. Please enter a valid path to a sitemap in your site.」で拒否されました。完全なURLを入力する必要があります:https://oharu121.com/sitemap-index.xml。

oharu121.comのGoogle Search Consoleのサイトマップ画面。https://oharu121.com/sitemap-index.xmlについて緑色のSitemap submitted successfullyの確認が表示されている

完全なURLなら受理される。同じ欄でパスだけを入れると拒否された。

私はBing Webmaster Toolsに、Search Consoleから検証とサイトマップを取り込みました。そのためBing側でサイトを検証したり、サイトマップを送信したりする必要はありませんでした。

Bing Webmaster Toolsのウェルカム画面。サイトを追加する方法が2つあり、左のImport your sites from GSCにはNo site verification required、Import sitemaps instantly、Saves a lot of timeが並び、その下にImportボタンがある。右のAdd your site manuallyには、サイトURLの入力欄とAddボタンがある

Bingのウェルカム画面。Search Consoleから取り込めばサイトの検証は不要で、サイトマップも一緒に取り込まれる。

回答エンジン向け: robots.txt、llms.txt、JSON-LD、プレーンテキスト版、IndexNow、Brave

robots.txtで11のAIクローラーを名指しする

robots.txtは今、src/pages/robots.txt.tsというルートで生成しています。そのためSitemap:行は定数SITEから組み立てられ、ドメインを移しても追従します。方針は私が決めました。学習データを集めるものも含めて、AIクローラーはすべて許可します。このブログの目的は多くの人に届くことで、学習コーパスも、ここに書いた考えが読まれる場所の1つです。

User-agent: *とAllow: /ですでにすべてのクローラーがサイト全体を取得できますが、私は11すべてを名前で列挙し、クローラーごとに個別のスイッチを持たせました。

robots.txt(抜粋)
# OpenAI — training data for future models
User-agent: GPTBot
Allow: /
# OpenAI — the index behind ChatGPT search
User-agent: OAI-SearchBot
Allow: /

学習と検索は別のクローラーで、スイッチも別々です。1つをブロックしても、他のクローラーは動き続けます。Anthropicはドキュメントで3つのクローラーを挙げています。

  1. ClaudeBot:学習データを集める
  2. Claude-SearchBot:検索インデックスを作る
  3. Claude-User:利用者が求めたページを取得する

クローラーを1つずつ名指ししておけば、1行をDisallowに変えるだけで方針を変えられます。回答で引用はされたいが学習には使われたくないサイトなら、学習用のクローラーだけをブロックします。

ChatGPT-UserとClaude-Userはどちらも、利用者が求めたページを取得するクローラーですが、robots.txtの扱いは2社で異なります。OpenAIのドキュメントには「ユーザーが開始した操作なので、robots.txtのルールは適用されない場合がある」(拙訳)とあり、ChatGPT-UserへのDisallowはお願いにとどまります。一方、Anthropicのドキュメントは、Claude-Userを含む自社のすべてのボットがrobots.txtに従うとしています。

3社の8つのクローラーは次のとおりで、どれもrobots.txtで個別に切り替えられます。

提供元学習検索インデックスユーザー起点
OpenAIGPTBotOAI-SearchBotChatGPT-User(robots.txtが適用されない場合あり)
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity非公開PerplexityBotPerplexity-User

llms.txtを読んでいるものはあるのか

llms.txtはMarkdownで書いたサイトのインデックスで、サイトのルートの/llms.txtに置きますが、読んでいるクローラーはほとんどありません。Limyの計測では、90日間で llms.txtへのリクエストはおよそ408件、同じ期間のAIボットの訪問は5億回超でした。本番環境でこのファイルを読むと表明した主要AIベンダーはありません。

ファイルを置くサイトは多いのに、読むクローラーはほとんどありません。Rankabilityの調査では、Tranco(よく使われる人気サイトのランキング)上位1,000サイトの約8.7%がllms.txtを置いていて、開発者向けサイトの多い一部のサンプルでは、その割合が半数を超えます。

ただ、IDEのエージェントやMCPサーバーは実際にllms.txtを取得しますし、このブログの読者は開発者です。そこで私はllms.txtを小さなインデックスとして、RSSフィードと同じ作りでロケールごとに1つ用意しました。

JSON-LDを<head>に移し、@idでつなぐ

各記事には以前からBlogPostingのノードがありましたが、<body>に出力され、publisher、url、keywordsもありませんでした。私はJSON-LDをsrc/lib/schema.tsで組み立てて<head>に置くように変え、記事にはBreadcrumbListを、一覧ページにはWebSite、Blog、ItemListを出力しています。

たとえば、ある記事の<head>にあるJSON-LDを抜粋すると次のとおりです。

blog/rag-vs-finetuning-kb-search/index.html の<head>内のJSON-LD(抜粋)
{
"@type": "BlogPosting",
"headline": "RAG vs fine-tuning for KB search — …",
"url": "https://oharu121.com/blog/rag-vs-finetuning-kb-search/",
"datePublished": "2026-08-11T15:07:58+09:00",
"inLanguage": "en-US",
"author": { "@type": "Person", "@id": "https://oharu121.com/#person", "name": "oharu" },
"isPartOf": { "@id": "https://oharu121.com/#website" },
"keywords": "RAG, LLM, Generative AI, Machine Learning"
}

どのページも、著者ノードとサイトノードを固定の@idで参照します。@idは、サイトのURLの後ろに#personや#websiteのようなフラグメントを付けたものです。

src/lib/schema.ts
const personId = (site: URL) => new URL("#person", site).href;
const websiteId = (site: URL) => new URL("#website", site).href;

これで、クローラーがこのブログのどのページを何ページ読んでも、同名の複数人ではなく1人の著者として扱います。

どのページも、1つの著者ノードと1つのサイトノードを指す中段にページの例が並ぶ。BlogPostingノードを持つ記事ページが2つと、Blogノードを持つ一覧ページが1つ。どのページも、上の同じ著者ノードoharu121.com/#personと、下の同じサイトノードoharu121.com/#websiteを指す。どのページも同じ@idを使うので、クローラーが何ページ読んでも、著者もサイトも1つとして扱う。authorisPartOf著者oharu121.com/#personサイトoharu121.com/#website記事BlogPosting記事BlogPosting一覧ページBlogどのページも同じ@idを指すので、何ページ読まれても著者もサイトも1つになる。
どのページも、同じ著者ノードと同じサイトノードを指す。

シリアライザーは<をすべて\u003cにエスケープします。JSON.stringifyは</script>をそのまま残すので、それを含む文字列があるとタグが途中で閉じ、残りのJSON-LDがマークアップとしてページに漏れ出します。

WebSiteノードにはSearchActionを付けていません。このプロパティは、もともとGoogleの検索結果にサイトリンク検索ボックスを出すためのものでしたが、Googleは2024年11月にこの機能を廃止しました。しかもこのブログの検索ページは?q=パラメーターを読まないので、付けても使えない検索URLを宣言するだけです。

Search ConsoleのURL検査は、このパンくずのノードを読み取って表示します。

公開記事に対するGoogle Search ConsoleのURL検査。URL is available to Google、Page availabilityはPage can be indexed、Enhancements and Experienceの下にBreadcrumbsの行があり1 valid item detectedと表示されている

schema.tsが出力したBreadcrumbListのノードを、Googleが報告している。

すべての記事をMarkdownでも配信する

各記事のURLの末尾に.mdを付けると、たとえば/blog/<slug>.mdのように、その記事のMarkdownのプレーンテキスト版が手に入ります。記事の<head>も<link rel="alternate" type="text/markdown">でこの版を指しています。これで回答エンジンは、HTMLページを解析しなくても本文を直接受け取れます。

同じ記事を、ページごと渡す場合と渡さない場合左はHTMLページで、ヘッダー、目次、本文、共有ボタン、フッターが並び、本文は5つの帯のうちの1つにすぎない。右は同じスラッグに.mdを付けたMarkdownの複製で、本文と短いメタデータの見出しだけが入る。テキストはどちらも同一だが、ほぼ記事だけで構成されているのはMarkdownの複製のみ。HTMLページ/blog/slug/ヘッダーとナビゲーション目次記事本文共有ボタンフッターMarkdownの複製/blog/slug.mdタイトル・日付・タグ・元URL記事本文本文は5つの帯のうちの1つ本文と、出典を示す見出しだけ
どちらもテキストは同じ。プレーンテキスト版はほぼ記事本文だけでできている。

このブログの記事はどれもコンポーネントをimportしていますが、Astroコンポーネントに相当するMarkdownはありません。src/lib/mdx-to-markdown.tsは、それぞれを次のようにテキストへ変えます。

  1. import文を取り除く。
  2. <Callout>をラベル付きの引用ブロックにする。
  3. <Figure>を、キャプションと図版名に置き換える。
  4. ラスター画像は代替テキストを残し、URLを落とす。ビルド後のアセットパスは変換処理には分からないコンテンツハッシュで、404になるリンクをモデルが引用すると、そのまま広まってしまう。
記事のMDX(入力)
import Callout from '@/components/article/Callout.astro';
import Figure from '@/components/article/Figure.astro';
import RagVsFinetuning from './_figures/RagVsFinetuning.astro';
<Callout type="know">
Fine-tuning changes behaviour, not facts.
</Callout>
<Figure>
<RagVsFinetuning />
<Fragment slot="caption">RAG keeps facts outside the model.</Fragment>
</Figure>
![A bar chart of answer accuracy](./_images/accuracy.webp)
プレーンテキスト版(出力)
> **ちなみに**
>
> Fine-tuning changes behaviour, not facts.
*Figure — RagVsFinetuning: RAG keeps facts outside the model.*
*Image: A bar chart of answer accuracy*

本文、見出し、表、コードフェンスは変更せずに通します。引用される内容は、ほぼすべてそこにあります。

IndexNowでデプロイのたびにBingのインデックスへ送信する

BingのインデックスはChatGPT検索の引用元の1つですが、その割合については見解が割れています。Seer Interactiveは2025年2月、100件のクエリで、SearchGPTの引用の87%がBingの上位結果と一致したと報告しました。2026年4月に400件のクエリで行われた追試では27%でした。いずれにしても、Bingがクロールしていないページは、Bing経由では引用されません。

IndexNowは、サイトから検索エンジンへ「これらのURLが更新された」と通知するためのプロトコルです。api.indexnow.orgという1つのエンドポイントにURLを送るだけで、Bing、Yandex、Seznam、Naverなどにまとめて通知できます。GoogleはIndexNowに参加していないので、Google側は引き続きSearch Consoleで別に対応する必要があります。

IndexNowは、URLを送信する人がそのサイトを管理しているかどうかを、キーファイルで確かめます。キーファイルはサイトのルートに置くファイルで、ファイル名がキーそのもの、中身も同じキーです。検証はこのファイルを「取得して照合する」だけです。私はこのファイルをpublic/にコミットし、scripts/indexnow.tsも同じファイルから読み込むようにしました。これで、送信するキーと配信しているキーが常に一致します。

IndexNowのキーを送信し、検証する流れ上にキーファイルpublic/<key>.txtがあり、中身はキーそのもの。CIではscripts/indexnow.tsがこのファイルを読み、host、key、keyLocation、urlListをapi.indexnow.orgへPOSTする。デプロイで同じファイルがoharu121.com/<key>.txtとして公開され、IndexNowはそれを取得して送信されたキーと照合する。初回の送信は202(受領、検証は保留中)、以降は200を返す。1つのファイルが両側を支えるので、送信するキーと配信するキーは常に一致する。public/<key>.txt中身はキーそのものCIで読むデプロイで公開scripts/indexnow.tsデプロイ後にCIで実行oharu121.com/<key>.txt公開で配信① POST{ host, key, keyLocation, urlList }② 取得して照合api.indexnow.orgBing・Yandex・Seznam・Naverなど202 初回200 以降1つのファイルが両側を支えるので、送信するキーと配信するキーは常に一致する。
キーファイルを読むのは2者。送信時のスクリプトと、検証時のIndexNow。

buildLastmodMapは、サイトマップのために公開記事のURLとlastmodの一覧をすでに作っています。スクリプトはgitの差分を取らず、この一覧を日付の範囲で絞り込みます。

pnpm indexnowの出力
70 URL(s) for oharu121.com:
…
IndexNow accepted the batch (200).

私は本番デプロイのたびにCIでpnpm indexnowを実行するようにしました。初回は202が返りました。受領済みでキーの検証は保留中、という意味です。その後の実行では200が返っています。

その後、BingのURL検査には赤いバツ印が出ました。

Bing Webmaster ToolsのURL検査。赤いDiscovered but not crawledのステータスにURL cannot appear on Bingという注記が付き、Discoverの段階は緑で2026年8月18日、Crawlの段階は失敗として、Bing Webmaster Guidelinesを勧める一般的なメッセージが出ている

IndexNowでURLを送信した時点で、Bingはそのページを検出している。赤いクロール失敗は本当のエラーではなく、BingがURLに気づいたものの、まだページを取得していないことを示しているだけだ。

「Discovered but not crawled」は、ページがBingのクロール待ちに入っているという意味です。画面のDiscovered on 18 Aug 2026は、IndexNowでURLを送信した日です。公開から数日で被リンクもないドメインには、クロール予算(検索エンジンがそのサイトから取得してもよいと考えるページ数)がほとんどありません。IndexNowはURLの存在をBingに伝えますが、いつ取得するかを決めるのはBingです。

Claudeのウェブ検索が使うBraveは、送信を受け付けない

Claudeのウェブ検索は、ほぼ確実にBrave Searchを使っています。Anthropicは検索の提供元を明かしていません。ただ、Simon Willisonが気づいたとおり、Claudeのウェブ検索が公開される前日の2025年3月19日に、AnthropicはBraveをウェブ検索のサブプロセッサー(Anthropicに代わってデータを処理する外部の事業者)として登録しています。さらに、Claudeの引用はBraveの上位結果と一致します。

Braveにはウェブマスター向けのコンソールがなく、サイトマップも受け付けず、IndexNowにも参加していません。MERJの分析によると、Braveのクローラーは独自のユーザーエージェントを名乗らず、robots.txtがGooglebotに向けて書いたルールに従います。このブログはUser-agent: *ですべてのクローラーを許可しているので、Braveのクローラーもすでにクロールできる状態です。

Braveが新しいページを見つける主な手がかりは、GoogleとBingでの順位です。もう1つの情報源は、Web Discovery Projectに参加したBraveブラウザーの利用者で、自分が訪れたページを報告します。search.brave.com/submit-urlは、Braveがすでに知っているページの再取得を頼むだけで、新しいURLの送信には使えません。

まとめ

  • Googleに載っていなかったのは、一度も登録しておらず、被リンクもなかったからです。
  • 共有の*.vercel.appホストは検索順位を抑えますが、Googleはクロール自体はします。
  • llms.txtが取得されたのは、ある計測でAIボットの訪問5億回に対してわずか408回ほどでした。このブログでは、IDEのエージェント向けの小さなインデックスとして置いています。
  • IndexNowはデプロイのたびにBingのインデックスへ送信します。BingはChatGPT検索の引用元の1つです。
  • Claudeのウェブ検索はBraveを使います。Braveは送信を受け付けず、主にGoogleとBingでの順位からページを見つけます。
  • 各記事のプレーンテキスト版は、ナビゲーションなどの周辺要素を取り除いた本文を回答エンジンに渡します。

参考リンク

この記事をシェア