未分類

robots.txtは必ず設置!~yahoo.google検索結果から消されない為に~

つい先日、管理している一部のクライアント様がいきなりyahoo.googleの検索結果から消えてしまいました!!
これは焦りました…。大問題です。
直ぐに原因を調査したのですが、どうもrobots.txtが設置されていないクライアントで症状が出ている様…
サーバー管理担当にも確認してもらい、最近サーバー設定の変更点が無いか確認した所、
どうも直近の設定変更でrobots.txtが無い場合に返すエラーが変更されていた為の様です。
※404/410のエラーが返っていなかった様です。

そこで直ぐにrobots.txtを設定!
設定には以下サイトを参考にさせていただきました。

海外SEO情報ブログ

サイトマップも送信し、状況を見守る事約10時間…徐々にインデックスが復活し、
翌日には全ての検索インデックスが復活していました。

この様に予期せぬサーバーの設定変更などで、いきなり検索結果から消えてしまう危険性も
少なからずありますので、以下の様な「何も許可しない=空欄」として
全URLを許可するrobots.txtを設置しておくのが安全と痛感しました。

User-Agent: *
Disallow: