この記事でわかること
- Search Consoleの「取得できませんでした」が示している状態と、3つのパターンの見分け方
- ブラウザ・コマンド・URL検査ツールで、10分で原因を絞り込む手順
- よくある原因6つと、原因ごとの直し方・再送信のしかた
- 直したのに表示が変わらないときに、待つか動くかの判断の目安
結論:「取得できませんでした」は、Googleがサイトマップのファイルそのものを読み込めなかったという意味です。原因の多くは、送信したURLの書き間違い、ファイルにGooglebotが届かない設定、XMLの形式の崩れのどれかです。まずブラウザでサイトマップのURLを開き、次にURL検査ツールのライブテストで「ページの取得」が成功になるかを確かめてください。原因を直して再送信すれば、多くの場合は数日のうちに「成功」に変わります。なお、サイトマップが読めなくても、内部リンクから見つかったページはインデックスされるため、サイト全体が検索から消えるわけではありません。
「取得できませんでした」は何が起きている状態か
Search Consoleの「サイトマップ」レポートには、送信したサイトマップごとにステータスが表示されます。公式ヘルプでは、ステータスは次の3つに分けて説明されています(出典:サイトマップ レポートを使用してサイトマップを管理する|Search Console ヘルプ)。
| ステータス | 意味 | 掲載URLの扱い |
|---|---|---|
| 成功 | 取得と読み取りがエラーなく完了した | すべてのURLがクロールの候補に入る |
| エラーがあります | ファイルは取得できたが、中身に1件以上のエラーがある | エラーのないURLは候補に入る |
| 取得できませんでした | 何らかの理由で、ファイル自体を取得できなかった | このサイトマップからは1件も候補に入らない |
つまり「取得できませんでした」は、中身の良し悪し以前に、ファイルに手が届いていない状態です。「エラーがあります」とは対処の方向が違います。中身を書き直す前に、まず「Googleがそのファイルを開けるか」を確かめるのが近道です。
同じヘルプでは、取得できない主な理由として、robots.txtによるブロック、未解決の手動による対策、URLの誤り(404)、サーバーの障害などの一般的なエラーに加えて、サイトの品質からクロールの必要性が低いと判断されている場合も挙げられています。また、取得や解析に失敗した場合、Googleは数日間再試行し、それでも失敗すると停止すると説明されています。当社では、この説明をもとに状態を次の3つのパターンに分けて考えています。
パターンA:送ったURLが違う
ファイル名の書き間違い、httpとhttpsの違い、wwwの有無など。ブラウザで開くと404やリダイレクトになります。
パターンB:人は開けるがGooglebotが届かない
robots.txt、WAF(不正アクセス対策の仕組み)、認証、サーバーの一時的な不調など。ブラウザでは見えるのに取得に失敗します。
パターンC:届くが読めない・後回しにされている
XMLの形式の崩れやサイズ超過、あるいは問題が見当たらないのに取得が後回しになっている状態です。
AとBは設定を直せば解決することがほとんどです。Cのうち「問題が見当たらない」ケースは、ファイルではなくサイト全体の評価の話になるため、最後の章で扱います。
自分で確かめる:10分でできる切り分け手順
難しい道具は要りません。次の順に確かめると、ほとんどの場合はどのパターンかが分かります。
手順1:Search Consoleに送ったURLを、そのままブラウザで開く
サイトマップ レポートの一覧から、送信済みのURLを正確にコピーして、シークレットウィンドウ(ログインしていない状態)で開きます。XMLの中身(<urlset>や<loc>が並んだ文字)が表示されれば、少なくともURLは正しいと分かります。404やトップページへの転送になる場合はパターンAです。
手順2:HTTPステータスとファイルの種類を確かめる
ブラウザで見えても、サーバーが「200(正常)」以外を返していることがあります。パソコンのターミナルで curl -I https://(自社ドメイン)/sitemap.xml を実行すると、1行目にステータスが出ます。「200」以外(301・302の転送、403、5xx)なら要注意です。あわせて「content-type」がXML(application/xmlやtext/xml)になっているかも見ておきます。コマンドが使えない場合は、ブラウザの開発者ツールの「ネットワーク」タブでも同じ情報が見られます。
手順3:robots.txtでサイトマップが止められていないか見る
https://(自社ドメイン)/robots.txt を開き、「Disallow:」の行にサイトマップの置き場所が含まれていないかを確認します。サイト全体を止める「Disallow: /」が、テスト環境の名残で残っているケースもあります。
手順4:URL検査ツールのライブテストにかける
Search Console上部の検索窓にサイトマップのURLを入れ、「公開URLをテスト」を押します。公式ヘルプでは、ライブテストで「クロールを許可?」が「はい」、「ページの取得」が「成功」になっているかを確認するよう案内されています(出典:サイトマップ レポートを使用してサイトマップを管理する|Search Console ヘルプ)。ブラウザでは開けるのにここで失敗するなら、パターンBです。
手順5:XMLとして正しいかを確かめる
ここまで問題がなければ、ファイルの中身を確認します。無料のXML検証ツールに貼り付けるか、ブラウザで開いたときに「XMLの解析エラー」のような表示が出ていないかを見ます。先頭に空行や余計な文字がある、「&」がそのまま書かれている、といった小さな崩れでも読み込みに失敗します。
切り分けの記録シート(コピーして使えます)
- 送信したURL(Search Consoleに表示されているもの):
- ブラウザで開けたか:はい/いいえ(表示されたもの: )
- HTTPステータス:200/301・302/403/404/5xx
- robots.txtでの除外:なし/あり(該当行: )
- ライブテストの結果:クロールを許可(はい/いいえ)・ページの取得(成功/失敗)
- XMLの検証結果:問題なし/エラーあり(内容: )
よくある原因6つ
当社が相談を受けたサイトで実際によく見る原因を、見つけやすい順に並べます。
| 原因 | よくある具体例 | パターン |
|---|---|---|
| 1. 送信URLの表記違い | sitemap.xmlとsitemap_index.xmlの取り違え、httpで送信、wwwあり・なしの不一致 | A |
| 2. 転送・404 | サイトのリニューアルやSSL化でファイルの場所が変わった、CMSのプラグインを入れ替えて名前が変わった | A |
| 3. robots.txt・認証での遮断 | Disallowの範囲が広すぎる、公開前のBasic認証が残っている | B |
| 4. WAF・セキュリティ設定での遮断 | 海外からのアクセスや短時間の連続アクセスを止める設定で、Googlebotも止まっている | B |
| 5. XMLの形式の崩れ | 先頭の空行、エスケープしていない記号、文字コードがUTF-8でない、相対URLで書いている | C |
| 6. サイズ・件数の上限超え | 1ファイルに5万件を超えるURL、非圧縮で50MBを超えるファイル | C |
5と6はGoogleの仕様で決まっています。サイトマップはUTF-8で保存し、URLは「https://」から始まる完全なURLで書き、記号はXMLのルールに従ってエスケープします。1つのファイルは非圧縮で50MB以下・5万URL以下にし、超える場合は分割してサイトマップ インデックス ファイルにまとめます(出典:サイトマップの作成と送信|Google 検索セントラル)。
見落としやすい点:4のWAFは、ブラウザで確認する限り問題が見えません。レンタルサーバーの管理画面でWAFのログを開き、Googlebotからのアクセスが「遮断」と記録されていないかを確認してください。手順4のライブテストで失敗し、robots.txtにも問題がないときは、まずここを疑います。
原因別の直し方と、再送信のしかた
URLの表記違い・転送・404のとき
実際にファイルが置かれている場所と、Search Consoleに送ったURLを一致させます。ドメインプロパティ(例:sc-domain:example.co.jp)で登録していれば、http・https、wwwの有無はまとめて扱われますが、URLプレフィックスのプロパティでは、登録したURLの配下にあるサイトマップしか扱えません。リニューアルで場所が変わった場合は、新しいURLを送信し直し、古いURLのサイトマップはレポートから削除しておくと一覧が整理されます。
robots.txt・認証・WAFで止まっているとき
robots.txtは該当するDisallowの行を外すか、範囲を絞ります。Basic認証が残っていれば外します。WAFは、管理画面の除外設定でサイトマップのURLを対象外にするのが安全です。WAFそのものを止めると、本来防ぎたい攻撃まで通してしまうため、範囲を絞って除外してください。設定の場所が分からない場合は、サーバー会社のサポートに「Googlebotがsitemap.xmlを取得できない」と伝えると話が早く進みます。
XMLの形式が崩れているとき
プラグインや自動生成の仕組みを使っている場合は、手で直すより設定を見直して作り直すほうが確実です。手書きで管理している静的サイトなら、先頭の空行を消す、「&」を「&」に置き換える、相対URLを完全なURLに直す、の3点で直ることが多いです。直したら、もう一度ブラウザで開いてエラー表示がないことを確かめます。
直したあとの再送信
サイトマップ レポートで、同じURLを入力して「送信」を押し直します。公式ヘルプでは、問題を修正してから再送信すること、一時的なエラーであれば再度クロールされるのを待つことが案内されています。送信直後に一覧の表示が古いままでも、すぐに何度も送り直す必要はありません。あわせて、robots.txtに「Sitemap: https://(自社ドメイン)/sitemap.xml」の1行を書いておくと、Search Console以外からもサイトマップの場所を伝えられます(出典:サイトマップの作成と送信|Google 検索セントラル)。
サイトの作り方別に気をつけること
WordPress
サイトマップを作る仕組みが2つ以上ないか
- WordPress本体の標準サイトマップ(wp-sitemap.xml)と、SEOプラグインのサイトマップが併存していることがあります
- どれを送信しているかを確認し、使わないほうは止めます
- キャッシュ系プラグインがサイトマップまでキャッシュしていないかも確認します
静的HTML
更新のたびに手で直す運用になっていないか
- 記事追加のたびにsitemap.xmlを手で書き換えると、書き間違いが起きやすくなります
- URLの追加漏れや、消したページのURLが残っていないかを定期的に突き合わせます
- アップロード時に文字コードが変わらないかも確認します
ホームページ作成サービス
サービスが自動で作るURLを使っているか
- 多くのサービスはサイトマップを自動で作り、URLもサービス側で決まっています
- 独自ドメインに切り替えたあと、古いドメインのサイトマップを送り続けていないかを確認します
- 仕様はサービスのヘルプで最新の情報を確かめます
リニューアル直後
旧サイトの設定が残っていないか
- 公開前に入れたnoindexやBasic認証、robots.txtの全体ブロックが残る事故が多い時期です
- サイトマップだけでなく、主要ページもURL検査ツールで確認します
- 旧URLのサイトマップは削除し、新しいものだけを送信します
直しても変わらないときの判断の目安
手順1〜5のすべてで問題がないのに「取得できませんでした」が続く場合は、ファイルではなく、Googleがそのサイトをどれだけ優先してクロールするかの問題である可能性があります。公式ヘルプでも、サイトの品質からクロールの必要性が低いと判断されている場合が理由の一つに挙げられています。
| 状況 | 判断の目安 |
|---|---|
| 修正・再送信から数日以内 | 待ちます。Googleは失敗時に数日間再試行すると説明しています |
| 1〜2週間たっても変わらないが、主要ページはインデックスされている | 急ぐ必要はありません。サイトマップはクロールの補助であり、内部リンクからもページは見つけられます |
| 新しく公開したページがほとんどインデックスされない | サイトマップの問題ではなく、ページの独自性や公開ペースの見直しが必要な段階です |
| 手動による対策の通知がある | 最優先で対処します。Search Consoleの「セキュリティと手動による対策」を確認してください |
Googleは、サイトマップを送信してもファイルがダウンロードされる保証や、掲載されたURLがクロールされる保証はないと明記しています(出典:サイトマップの作成と送信|Google 検索セントラル)。また、ステータスが「成功」でも、検出されたURLがすべてインデックス登録されるとは限りません。表示を「成功」にすることをゴールにせず、見てほしいページがインデックスされ、検索に表示されているかを最終的な判断基準にしてください。
LnXの見解
「取得できませんでした」の相談を受けて調べると、原因がサイトマップの中身にあることは意外に少なく、リニューアルやサーバー移転、セキュリティ設定の変更といった「別の作業の副作用」であることがほとんどです。表示に気づいた日から逆算して、その前にサイトで何を変えたかを先に洗い出すと、調べる場所が一気に絞れます。
もう一つお伝えしたいのは、ステータスを直すことと、検索からの集客が増えることは別だという点です。サイトマップは、ページの存在をGoogleに知らせる名簿にすぎません。名簿が読めるようになっても、載っているページが読む価値のある内容でなければ、インデックスも表示も増えません。当社では、技術的な詰まりを解消したあとに、どのページを伸ばすかを数字で決めて記事の追加とリライトを進めています。サイトマップの自動更新を含めた土台づくりから任せたい場合は、ご相談ください。
※Search Consoleの画面や仕様は更新されます。作業前に最新の公式情報も確認してください。
よくある質問
Q「取得できませんでした」のままだと、サイトは検索に出なくなりますか?
サイト全体が検索から消えるわけではありません。Googleは内部リンクや外部リンクからもページを見つけます。ただし新しいページが見つかるまでに時間がかかりやすくなるため、原因は早めに直しておくのが安全です。
Q送信したばかりで「取得できませんでした」と出ました。すぐ直すべきですか?
まずブラウザでサイトマップのURLを開き、正しく表示されるかだけ確認してください。表示されるなら数日待って様子を見ます。Googleは取得に失敗した場合、数日間再試行すると説明しています。
Q「取得できませんでした」と「エラーがあります」は何が違いますか?
「取得できませんでした」はファイル自体を読み込めなかった状態で、掲載したURLは1件も使われません。「エラーがあります」はファイルは読めたものの中身の一部に問題がある状態で、エラーのないURLは使われます。
Qサイトマップは毎回再送信したほうがよいですか?
中身を更新するたびに再送信する必要はありません。場所が変わったときや、取得できない原因を直したときに送信し直せば十分です。robots.txtにサイトマップの場所を書いておく方法もあります。
Qステータスが「成功」になれば、ページはすべてインデックスされますか?
されるとは限りません。Googleは、検出されたURLがクロールやインデックス登録の対象になる保証はないと説明しています。インデックスされるかどうかは、ページの内容や重複の有無などで決まります。