Googleウェブマスターツールでrobots.txtのコメントが効かない?
とあるサイトのSEOの為、以下の様なrobots.txtを作成した。
User-Agent: *
# Disallow: /help/
Sitemap: https://xxxxx.com/sitemap.xml
/help/配下は現在は検索対象だが、以前は検索対象外にしていた経緯があったので、コメントとして設定を残していました。
sitemap.xmlには、/help/配下のHTMLも記載してあります。
sitemap.xmlの登録状況をGoogleウェブマスターツール確認しようと、
クロール>サイトマップ>sitemap.xml
を開くと、こんな警告が表示されていた。
問題:URL が robots.txt によってブロックされています。
説明:サイトマップには robots.txt によってブロックされている URL が含まれています。
警告となっているURLは/help配下のものだ。
robots.txtのDisallowは確かにコメント化しているのだが...
確認の為、
# Disallow: /help/
の行を削除し、robots.txtとsitemap.xmlを再読み込みすると警告が消える。
再度、robots.txtにコメント行を復活させると、やはり警告となるのでキャッシュではない様だ。
なんとも解せないが、Googleウェブマスターツールでは、Disallowなどのコマンドに対してコメントが効かない?みたいです。