ブログ - bot,crawlerを調べてみた2016年7月
久々に，USER_AGENTでロボットによるアクセスを集計してみた．
抽出はこんな感じでざっくり．
集計した結果，こんな感じでした．
最近，Googleで検索しても思うような所に行き着かずショッピングモールにばかり誘導される感じがあるので，マイクロソフトのbingも試してみても良いかもしれない．結果は同じかもしれないけれど．
それと，一時期凄かったBaiduのbotからのアクセスが激減しています．日本からは検索エンジンとしては撤退しているからかな． robot.txtも無視するしあまりにも頻繁だから，例の魔法の言葉をMETAにでも入れようかと考えた頃もあったけれどね．
Wikipediaをみても，あまり好意的じゃないね．
https://ja.wikipedia.org/wiki/Baiduspider
最大の，BLEXBotはwebmeup.comというサービスが運営しているそうなので，無料でバックリンクのレポートが見られるというので行ってみたのだけれど，こんな結果でした．
完全な無駄足のようだ．．．
バックリンクというのは，当サイトへリンクしているWebページの事でGoogleのPageRankのように「みんなからよくリンクされているページは良いページ＝有益」と判断されているので，このバックリンクがたくさんあると良いサイト率が高いといえるかな．
その集合知を前提としたバックリンクも，たとえば映画プロモーションサイトとか，一時的に使われ既に所有権を手放されたドメインを取得し，そこに誘導リンクを貼るスパムサイトを広告会社が運営して，検索エンジンのランキングを上げようとするSEO対策ももう古典化されていてあまり効果は無い模様．
抽出はこんな感じでざっくり．
cat access.log|awk '{print $14" "$15" "$16}'|sort|uniq -c|sort -nr
27.9% BLEXBot/1.0 有料SEO
26.7% bingbot/2.0 マイクロソフト
7.4% SemrushBot マーケティング会社
3.4% MJ12bot 世界最大の検索エンジン作成プロジェクト
6.0% Googlebot/2.1 グーグル
3.1% ltx71 不明
3.2% Configuration/CLDC-1.1
3.2% Googlebot-Mobile グーグル
1.1% Steeler/3.5 東京大学 喜連川研究室
0.4% Yahoo! Slurp ヤフー
0.2% proximic インターネット視聴率の測定会社
0.2% Baiduspider/2.0 中国の検索エンジン
0.1% GrapeshotCrawler マーケティング会社
それと，一時期凄かったBaiduのbotからのアクセスが激減しています．日本からは検索エンジンとしては撤退しているからかな． robot.txtも無視するしあまりにも頻繁だから，例の魔法の言葉をMETAにでも入れようかと考えた頃もあったけれどね．
Wikipediaをみても，あまり好意的じゃないね．
https://ja.wikipedia.org/wiki/Baiduspider
最大の，BLEXBotはwebmeup.comというサービスが運営しているそうなので，無料でバックリンクのレポートが見られるというので行ってみたのだけれど，こんな結果でした．
Sorry, there are no backlinks indexed for this site.
Please make sure you've entered the right URL.
バックリンクというのは，当サイトへリンクしているWebページの事でGoogleのPageRankのように「みんなからよくリンクされているページは良いページ＝有益」と判断されているので，このバックリンクがたくさんあると良いサイト率が高いといえるかな．
その集合知を前提としたバックリンクも，たとえば映画プロモーションサイトとか，一時的に使われ既に所有権を手放されたドメインを取得し，そこに誘導リンクを貼るスパムサイトを広告会社が運営して，検索エンジンのランキングを上げようとするSEO対策ももう古典化されていてあまり効果は無い模様．
