ブログ - Splunkを使ってbotの数をカウントしてみた
アクセスログからUSER-AGENTからbotを単純検索してみた．実行したコードは次の通り．期間は2016年12月の1ヶ月だけ．
全てのbot
12月18日が最大アクセス数になっている．何があったか不明．有名どころのbotごとに抽出してみる．
ちなみに画像は全てクリックすると拡大します．
Googlebot
Googleの場合は，コンスタントにアクセスしに来ているけれど，12月20日くらいからなぜか少なくなって来た．
Bing!
MicrosoftのBingは，安定的にアクセスしてきているようだ．1日のトータル数ではGoogleより多い．情報取集数や鮮度はBingの方が多いのかなぁ．Googleはショッピングサイトばかりでてくるので少し乗り換えてみようかなぁ．
Yahoo!
Yahoo!のクローラは，Bingの1/10程度しかないね．米国のYahoo!はAltabaに名称変更すると話題になっていたけれど．アメリカでも浸透しそうなブランド名を捨てるのだから，終焉なんだろうな．
Baidu
そして中国の検索エンジンのBaido．百度．2005年ごろに日本上陸したけれど，なくなりましたね．そういえば日本語変換エンジンのSimejiはどうなったのだろう．．．
そして最後にこれ．SEMrushというアフィリエイターが使うバックリンク解析系だね．たま〜に来てとんでもないアクセスをして帰って行く様だ．少しの間様子見してみるかな．
sourcetype=access_* bot|timechart count
sourcetype=access_* Googlebot|timechart count
sourcetype=access_* bingbot|timechart count
sourcetype=access_* yahoo|timechart count
sourcetype=access_* Semrush|timechart count
sourcetype=access_* Baidu|timechart count
全てのbot
12月18日が最大アクセス数になっている．何があったか不明．有名どころのbotごとに抽出してみる．
ちなみに画像は全てクリックすると拡大します．
Googlebot
Googleの場合は，コンスタントにアクセスしに来ているけれど，12月20日くらいからなぜか少なくなって来た．
Bing!
MicrosoftのBingは，安定的にアクセスしてきているようだ．1日のトータル数ではGoogleより多い．情報取集数や鮮度はBingの方が多いのかなぁ．Googleはショッピングサイトばかりでてくるので少し乗り換えてみようかなぁ．
Yahoo!
Yahoo!のクローラは，Bingの1/10程度しかないね．米国のYahoo!はAltabaに名称変更すると話題になっていたけれど．アメリカでも浸透しそうなブランド名を捨てるのだから，終焉なんだろうな．
Baidu
そして中国の検索エンジンのBaido．百度．2005年ごろに日本上陸したけれど，なくなりましたね．そういえば日本語変換エンジンのSimejiはどうなったのだろう．．．
そして最後にこれ．SEMrushというアフィリエイターが使うバックリンク解析系だね．たま〜に来てとんでもないアクセスをして帰って行く様だ．少しの間様子見してみるかな．
