q.hatena.ne.jp
の回答作成テスト※画像の貼り付けテスト確認用
私も最近警告のメール来ました。
1.robots.txtについて
私 robots.txtでクロールしないでよと指示してますが、
最近エラーメールをいただきました。指定を無視する？
http://www.ken3.org/cgi-bin/test/test048-3.asp?DATA=123456
↑オーバーフローのテストページをクロールさせたくなかったので、
User-Agent: *
Disallow: /etc/old/
Disallow: /etc/ranking/
Disallow: /cgi-bin/test/work/
Disallow: /cgi-bin/test/temp/
Disallow: /cgi-bin/test/test048-3.asp?DATA=123456
Allow: /
と指定してますが、エラー？
robots.txtに何か指定しているなら、書き方をチェックしてみては？
あっ勘違いだ
回答アップする前に、
google:google がrobots 無視で検索してみると、
https://support.google.com/webmasters/thread/7904664?hl=ja
や
https://webtan.impress.co.jp/e/2019/08/09/33574
が見つかります。
別のサイトからのリンクかもしれませんね。
2.ホスティングの問題: サーバーの過負荷 ですが、
私も出ています。
※昨日見た時は8個だったのが、
今スクリーンショットを撮ったら、2個と新たに違うブログで+1の三個になってました。
サーバーの過負荷なので、
クロールのタイミングで はてなさんのサーバーが混みあっていて負荷(タイムアウト？)、
だと思うので、あまり気にしなくても
自分のエラーページを例題にするのは、とても恥ずかしいのですが、
https://ken3code.hatenablog.jp/entry/2018/07/11/035213
を見ると、Youtube動画を貼っていたりして、重たいページだったのかも。
※でも同じような動画を貼っているページはクロールエラーになっていないので、たまたま？
3.収益について
エラーが発生してから、私のページもスズメの涙的収益が減りましたが、
お盆？の季節性だと思って(思いたいです・・・)
少し、様子見かなぁ。
スズメの涙的収益が早く戻るといいなぁ。
ズバリの回答ではないですが、
私も他の参考となる回答がほしいので、
たたき台・呼び水的回答としてUPします。
何かの参考となれば幸いです。
自然と治るといいなぁと思いつつ失礼します。
