2014年1月13日月曜日

splunk>®5.0.2からIDCF CloudStorageを使う

splunk5.0.2には、Amazon S3を参照出来るAdd-onがある。
Splunk for Amazon S3 Add-on
http://apps.splunk.com/app/1137/
URLは変わる恐れがあるので、SplunkにログインしてAppのサーチをかけた方がいい。
s3でいくつか該当する。

これをAmazon S3以外に使えないものか試した。
具体的には、株式会社IDCフロンティア様が提供するサービスのクラウドストレージを利用した。
http://www.idcf.jp/cloud/service/storage.html
なお、これを書いている、2014年1月13日の段階では既に新規の申し込みを受け付けていない。
今は極限られた条件の方しか試せない。
他の環境のS3互換APIを利用しているソフトウェアでも試せるかも知れない。
以下、自己責任でお試し願います。

これは内部的にはRiakが動作している。
http://www.idcf.jp/cloud/service/dstorage.html

分散ストレージをSplunkから閲覧出来ると利便性が高い。

・動作環境
CentOS 6.2-x86_64
Splunk 5.0.2 ビルド 149561

・設定手順
1)appのダウンロード

http://apps.splunk.com/app/1137/

より、任意のPCにて
splunk-for-amazon-s3-add-on_11.tgz
をダウンロードする。

2)ダウンロードしたapp内のファイル変更。
tgzを展開するとs3というディレクトリの中にs3.pyというファイルがある。
このファイルの7行目のENDPOINT_HOST_PORTを変更して保存する。
ENDPOINT_HOST_PORT = "ds.jp-east.idcfcloud.jp:80"
:80が無いと正しく動作しないようだ
ENDPOINTの確認方法はIDCFの場合以下の場所から確認出来た。


上記のスクリーンショットは、開発中の画面で変更される可能性がある。

3)変更したファイルを再アーカイブ
先ほどのs3.pyを差し替えてtgz形式でアーカイブする。

linuxであれば次の様になる。
tar czvf splunk-for-amazon-s3-add-on_11.tgz s3

4)splunkへappをアップロード。
splunkにログインしてsplunk-for-amazon-s3-add-on_11.tgzをアップロードする。
管理、app、ファイルからAppをインストールとクリックすると次の様な画面となる。

選択、から先ほど新たに作成した、splunk-for-amazon-s3-add-on_11.tgzを指定して緑のアップロードをクリックする。

正常にアップロードできれば以下の様に、管理、Appとクリックして遷移した画面のApp一覧に追加される。


s3という項目が追加されている。

・利用方法
管理、データ入力という箇所にAmazon S3という項目が追加されている。
右側の新規追加をクリック。

Resource name、Key ID、秘密鍵の項目を入力する。
Resource nameには、s3://を含めない。
バケット以下のディレクトリは/で指定した場合バケット内の各ファイルが参照される。
gz等で圧縮されたファイルでも認識される。

正常に追加されれば、データ入力の画面から確認できる

app、searchと選択し、ソースタイプの一覧にs3のバケット名が表示されれば、splunkから検索出来る様になる。

0 件のコメント: