つい先日、管理している一部のクライアント様がいきなりyahoo.googleの検索結果から消えてしまいました！！
これは焦りました…。大問題です。
直ぐに原因を調査したのですが、どうもrobots.txtが設置されていないクライアントで症状が出ている様…
サーバー管理担当にも確認してもらい、最近サーバー設定の変更点が無いか確認した所、
どうも直近の設定変更でrobots.txtが無い場合に返すエラーが変更されていた為の様です。
※404/410のエラーが返っていなかった様です。
そこで直ぐにrobots.txtを設定！
設定には以下サイトを参考にさせていただきました。
海外ＳＥＯ情報ブログ
●クローラをブロック“しない”時のrobots.txtの設定
サイトマップも送信し、状況を見守る事約１０時間…徐々にインデックスが復活し、
翌日には全ての検索インデックスが復活していました。
この様に予期せぬサーバーの設定変更などで、いきなり検索結果から消えてしまう危険性も
少なからずありますので、以下の様な「何も許可しない＝空欄」として
全ＵＲＬを許可するrobots.txtを設置しておくのが安全と痛感しました。
User-Agent: *
Disallow:
