検索エンジンがページをクロールしない:サーバー側の 5 つの問題

業界の動向
ホーム > ブログ掲示板 > 業界の動向 >

検索エンジンがページをクロールしない:サーバー側の 5 つの問題

年月日:2021-09-09

1. 誤ったブロッキング

百度の robots.txt を更新する際、「検出して更新」を複数回クリックすると、時に更新でき、時に更新できないという問題が発生することがあります。その結果、インデックス登録されるべきではないもの(robots.txt で禁止されている内容)がインデックス登録され、その後削除されることがよくあります。この問題の原因は何でしょうか?サーバー負荷が過剰であるわけではなく、ファイアウォールが一部の Baiduspider(百度のクローラー)を誤ってブラックリストに登録しているためです。

2. サーバーの異常

一般的なサーバーについては説明を省きます —— 北京、上海、広州のものは概して信頼性が高いことは誰でも知っています。しかし、大多数のウェブマスターが知らない特殊なサーバーも存在します。例えば、ウェスタンデジタルの「香港 / 台湾サーバー」は非常に興味深いです。本当に香港や台湾にあるのでしょうか?実際のデータセンターは中国本土にあるため、どうして香港 / 台湾サーバーと呼べるのでしょうか?ICP 登録を回避するために香港 / 台湾の IP を使用していますが、データはすべて中国本土に保管されています。

これにはどのような問題があるのでしょうか?サイトのサーバーが CDN を経由しているため、アップロードした一枚の画像でさえ「302 ステータスコード」が表示されます。アクセス速度は向上しますが、これは SEO に有利でしょうか?

3. 実 IP アドレスの取得失敗

规模の大きなウェブサイトは通常 CDN 加速を使用していますが、一部のサイトは「デバイス」だけでなく、スパイダー(クローラー)に対しても加速機能を適用しています。最終的な結果は何でしょうか?CDN ノードが不安定な場合、これはウェブサイトのスパイダーにとって致命的な問題となります。

多くの大規模サイトが CDN を開く理由は攻撃を受けやすいためです。この時、「スパイダーオリジンプル」(元のサーバーに直接アクセスさせる設定)を行わなければ、その結果は想像に難くありません。あなたのサイトは CDN を使用していますか?百度ウェブマスタープラットフォームにログインし、スパイダーが実 IP アドレスをクロールできるか確認してください!

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

Copyright @ 2025 ExpressWodo         ICP:京ICP209878955No:84506