ウェブマスターの間で「メリットがなく、サーバーに負担をかけるだけ」として拒否されることが多いボットは、大きく3つのグループに分類されます。


1. 海外の不要な検索エンジン

日本国内向けのサイト（日本語のサイト）である場合、これらの検索エンジンからユーザーが訪れることはほぼありません。アクセスを許可しておくメリットが一切なく、サーバーを重くする原因になるため拒否します。

• Baiduspider（Baidu / 百度）
　　• 概要: 中国最大の検索エンジンです。
　　• 拒否する理由: 過去に「短時間に大量のアクセスをしてサーバーをダウンさせる」という事例が何度も報告されている、お行儀の悪いボットの代表格です。

• Yandex / YandexBot
　　• 概要: ロシア最大の検索エンジンです。
　　• 拒否する理由: ロシア語圏のユーザーを狙っていない限り不要です。Google並みに頻繁に巡回してくるため、サーバーの通信量（転送量）を無駄に消費します。

• Sogou web spider
　　• 概要: 中国の大手検索エンジン「捜狗（ソウゴウ）」です。
　　• 拒否する理由: Baiduと同様に、日本のサイトにとっては負荷をかけるだけの存在なので除外します。


2. 海外の主要なSEO・競合分析ツール

世界中のWebサイトのリンク関係（被リンク）を調べるために巡回しているボットです。

• MJ12bot（Majestic）
　　• 概要: イギリスのSEOデータ会社が運用しています。
　　• 拒否する理由: 非常に大量のリクエストを短い時間に送りつけてくる傾向があり、サーバーのメモリやCPUを無駄に消費します。

• AhrefsBot（Ahrefs）
　　• 概要: 世界的に有名なSEO分析ツールです。
　　• 拒否する理由: クロール（巡回）の頻度が非常に高く、サーバーが重くなる原因の筆頭候補です。あなたがAhrefsの有料プランを使って自サイトを分析していない限り、許可するメリットはありません。

• SemrushBot（Semrush） / dotbot（Moz）
　　• 概要: Ahrefsと並ぶ大手SEO・競合分析ツールです。
　　• 拒否する理由: 目的は上記と同じデータ収集です。個人ブログや中小サイトにとっては、サーバー負荷になるだけなので拒否して問題ありません。


3. 生成AIの学習・データ収集ボット

ChatGPTなどの生成AIが、回答の精度を上げたり、最新情報を取得したりするためにWebサイトの文章を自動で読み取る（スクレイピングする）ボットです。

• ChatGPT-User / GPTBot（OpenAI）
　　• 概要: ChatGPTの学習およびWeb検索用ボットです。

• AnthropicBot（Anthropic）
　　• 概要: AI「Claude（クロード）」の学習用ボットです。

• Applebot-Extended（Apple）
　　• 概要: Apple IntelligenceなどのAI学習用ボットです。

• PerplexityBot（Perplexity）
　　• 概要: AI検索エンジン「Perplexity」のデータ収集ボットです。


　　• 拒否する理由（共通）: 「自分のサイトの記事やコンテンツを、勝手にAIの学習データに使われたくない（著作権保護）」という場合に拒否します。特にPerplexityBotは非常に短い間隔で大量にアクセスしてくるため、現在多くのサイトで警戒され、拒否リストに入れられています。