リンクバルの井上です。
今回はElasticSearchにデータを取り込むLogstashとは何かについて調べた内容をまとめてみました
###Elasticsearchとは？
Elastic社提供のLuceneベースのマルチテナント・スキーマレスで
クラウドに最適化されたサーチエンジンサーバー
###Logstashとは？
Elastic社が提供するオープンソースログ収集管理ツールです。
プラグイン形式で機能を拡張できるのが特徴でプラグインにより様々なファイルデータを収集できます。
###プラグインの種類
(沢山ありすぎるので一部紹介します・・・)
####logstash-input-jdbc
JDBCプラグインを使用してデータをDBにからデータを取得します。
####logstash-input-file
任意のファイルの内容を永続的に読み取ります。ファイル読み取り開始位置や読み取る間隔も調整することができます。
####logstash-filter-csv
カンマ区切りの入力をフィールド単位に分割します。separatorも指定することが可能です
####logstash-filter-date
日付フォーマットを変換します。
####logstash-output-jdbc
JDBCプラグインを使用してデータをDBにアウトプットします。
これらのプラグインを使い下記のような流れでデータを収集します。
1.Input ログを記録するイベントを監視
2.Codec Inputから受け取ったデータを指定した形式に整形
3.Filter Codecから受け取ったデータをフィルタ処理(解析)
4.Output Filterから受け取ったデータを出力対象に出力
基本的なLogstashの内容は以上です。
pluginをより活用すれば大抵のデータは取り込めるのであらゆるデータ収集ができそうですね！
リンクバルではエンジニアを積極募集中です。興味のある方は、こちらまでご応募ください。もちろん、社内の人間と面識があるのでしたら、直接にご連絡いただいてもかまいません。
