事実を整える

Nathan(ねーさん) 法的観点を含む社会問題についても、事実に基づいて整理します

fetch as googleエラーの原因と対処法:件数と時間制限があるgoogle search console

fetch as googleエラーが発生しました。しばらくしてからもう一度お試しください

Google search console の"Fetch as google"機能を使ってる方へ。

「エラーが発生しました。しばらくしてからもう一度お試しください」

この表示が出た際、以下の認識を持っておくといいと思います。

  1. 一定時間内のリクエスト数に上限があると認識すること
  2. 制限は日付が変わると解除される
  3. 制限は24時間待つことで解除される

以下では2018年10月現在の"Fetch as google"の上限数の仕様と思われる挙動と、なぜそうなっているのか、一定の分析を試みます。

「エラーが発生しました。しばらくしてからもう一度お試しください」は上限数に達している場合が多い

まず、"Fetch as google"のリクエストは

【一定時間内のリクエスト数に上限がある】

これを認識してください。

エラーが発生してリクエストができないというときのほとんどが、この一定時間あたりの上限数を超えたリクエストをしようとしている場合です。

f:id:Nathannate:20181012113038j:plain

このURLのみをクロールする」にチェックを入れたものが12個

このURLと直接リンクをクロールする」にチェックを入れたものが3個

どうやらこの2種類のリクエストは別個に扱われているため、「このURLのみをクロールする」でエラーが出たら回避策として「このURLと直接リンクをクロールする」にチェックを入れれば3つまでリクエストできるということが分かります。

エラーの原因:リクエスト上限数が1日or24時間で設定

上図では「このURLのみをクロールする」が3時間以内に12個リクエストが有効になっていますが、これは日付を跨いでいるからです。

同じ日付中にリクエストできる上限数は11個です。

エラーが出た場合、この時間を経過してから再度リクエストすれば大丈夫です。

※同じ日付で20時間しか経過してませんでしたが再度リクエスト可能になった例を確認しました。よくわかりませんが、「一定時間のうちのリクエスト上限数がある」ということだけは確かです。

fetch as googleに件数制限がある理由

別に中の人に聞いたわけではありませんが、リソースの限界が理由でしょう。

無制限にクロールリクエストが通るとしたら、クローラ―がいろんなサイトにクロールしに行かなければならなくなりますよね。

そうすると、クロールが滞ったり、行き届かないところが出てきます。

そうなることが無いように制限を設けているのだと思います。

このような制限はBingのクロールリクエストにおいても同じですね。

Bingは1日10件、月50件の制限があります。

「一時的にアクセスできません」の場合

リクエストステータスが「一時的にアクセスできません」となる場合があります。

この場合、再度リクエストをしていけば大丈夫です。

Serch Consoleのヘルプには「サーバーからの応答に時間がかかりすぎる」「連続したリクエスト」が原因の場合があると書いてあります。

私の場合は、「ネット回線が切れてしまった」のが原因と思われます。
「サイトの表示速度」はあまり関係がある場合は少ないと思います。早いページにエラーが出て、遅いページはエラーが出ないことなどありましたし。

それ以外の場合はわかりませんが、このステータスにはそんなに神経質になる必要はないでしょう。

まとめ:上限数によるエラーの対処法は「待つ」のみ

過去記事のリライトを猛スピードでやっている、という場合でない限りあまり遭遇しない現象でしょうし、その場合は計画的にリクエストすればいいのではないでしょうか。

以上