ブログ - splunk
情報漏洩事件があったとする.いつからいつまで,どこからどこへデータが漏れていたのか調べようと考える.幸い,監査システムはたくさん入っているので,たくさんの種類で大容量のログがあるが,どうやって調べるのか...
例えば,サーバへのTELNET/SSHなどの接続ログ,Webサーバのアクセスログ,DBサーバのSQLログ.それぞれを紐づけられてこそ,先の疑問,調査目的に近づけることができる.そんなことを実現しようとして,5年ほど前,チームのメンバーにビッグデータを使ったプロダクトの検証をしてもらったことがある.その時に選ばれたのが,このsplunkだった.(担当営業が知人だという事で若干の経営幹部からのバイアスも効いていたが・・・)

当時はマーケティングログの分析とセキュリティログの分析を主軸に売り出していたけれど,その点は今も変わらないけれど,非定型フォーマットが多数あるという意味でセキュリティログの方が向いているんだろうね.
Macでも動くというのでアカウント登録してダウンロード&インストールして使って見た.使って見たのは,このサイトのアクセスログ.
インストールは簡単.ZIP圧縮されているデータを適当なフォルダに入れておいて,ブラウザベースのGUIからその場所を選択するだけでデータの登録が完了.あとは自動でインデックスを作ってくれて,それが終わった頃,サーバの負荷が落ち着いた頃にsplunkの検索ボックスからGoogleの様にキーワードを入れるだけで即座に検索できる.
5年前(2011年製)のMacBook Airで1GBのデータをインデックス作成して見たけれど,なんのストレスもない.
「動くまで」のコストがとても安いので,本質的には,目的のものを引き出すためのクエリをどう作るかというソフトウェア利用技術の習得が難しいかな.
フリー版は1日500MBまでのデータロードが許されている様だけれど,利用期限は無いのかな?ちょっとよくわからないので調べて見たのだけれど,トライアル版Splunkはエンタープライズ版Splunkの全機能を60日間使用可能で,その後一部機能制限のついたフリー版Splunkへと移行されるそうだ.
うちのサーバ程度の量だったら問題なく使い続けられるみたいだ.
例えば,サーバへのTELNET/SSHなどの接続ログ,Webサーバのアクセスログ,DBサーバのSQLログ.それぞれを紐づけられてこそ,先の疑問,調査目的に近づけることができる.そんなことを実現しようとして,5年ほど前,チームのメンバーにビッグデータを使ったプロダクトの検証をしてもらったことがある.その時に選ばれたのが,このsplunkだった.(担当営業が知人だという事で若干の経営幹部からのバイアスも効いていたが・・・)

当時はマーケティングログの分析とセキュリティログの分析を主軸に売り出していたけれど,その点は今も変わらないけれど,非定型フォーマットが多数あるという意味でセキュリティログの方が向いているんだろうね.
Macでも動くというのでアカウント登録してダウンロード&インストールして使って見た.使って見たのは,このサイトのアクセスログ.
インストールは簡単.ZIP圧縮されているデータを適当なフォルダに入れておいて,ブラウザベースのGUIからその場所を選択するだけでデータの登録が完了.あとは自動でインデックスを作ってくれて,それが終わった頃,サーバの負荷が落ち着いた頃にsplunkの検索ボックスからGoogleの様にキーワードを入れるだけで即座に検索できる.
5年前(2011年製)のMacBook Airで1GBのデータをインデックス作成して見たけれど,なんのストレスもない.
「動くまで」のコストがとても安いので,本質的には,目的のものを引き出すためのクエリをどう作るかというソフトウェア利用技術の習得が難しいかな.
フリー版は1日500MBまでのデータロードが許されている様だけれど,利用期限は無いのかな?ちょっとよくわからないので調べて見たのだけれど,トライアル版Splunkはエンタープライズ版Splunkの全機能を60日間使用可能で,その後一部機能制限のついたフリー版Splunkへと移行されるそうだ.
うちのサーバ程度の量だったら問題なく使い続けられるみたいだ.