td-agent
はじめに td-agent(fluentd)をインストールしてみる、使ってみる、小さく導入してみる、タグをあれこれしてみる、プラグインなどなどについて雑多にいくつかメモった記事ができたので自分用の自分記事まとめです 完全なる自分用w おしながき td-agent入れて…
はじめに td-agent使って最初はいろいろ四苦八苦しましたが、 だいぶ期間も経ってしまって忘れそうなのでタグの扱いについて自分なりにメモっておこーっていう記事です ①では fluent-plugin-parse fluent-plugin-config-expander fluent-plugin-rewrite flue…
はじめに td-agent使って最初はすこし四苦八苦しましたが、 だいぶ期間も経ってしまって忘れそうなのでタグの扱いについて自分なりにメモっておこーっていう記事です また、各プラグインの詳細は開発者の方のサイトや参考になるサイトも多数あるので ピンポ…
はじめに こちらも使ってみてからだいぶたってるのでうる覚えですが自分用にメモっておきます! ということで、td-agent(fluentd)関連の記事としてTreasure Dataを使う・使ってみたメモの⑤です 関連記事はこちら →① - とにかく使ってみる →② - Application S…
はじめに growthforecastについてだけちょこっと書いてtd-agentで使ってたのを忘れてたので急遽メモ 以前の記事→growthforecast入れてみる 流れ growthforecast入れる td-agentの設定 これだけで終わりです 1. growthforecast入れる 最初にも書きましたがgro…
はじめに ①~③でいくつかやりましたが、 td-agentをインストールした際にtdコマンドが利用できるようになっています。 という話の、うる覚自分用メモ! treasure ataの関連記事はこちら →① - とにかく使ってみる →② - Application Supportを使ってみる(fluen…
はじめに 今回はphpのFluentLoggerモジュール(fluent-logger-php)を使ってみる話しです。 こちらも使ってみてからだいぶたってるのでうる覚えですが自分用にメモっておきます! ということで、td-agent(fluentd)関連の記事としてTreasure Dataを使う・使って…
はじめに こちらも昔やったことのうる覚えの自分用メモ! 今回はperlのFluent::Logger(fluent-logger-perl)モジュールを使ってみる話しです。 本家Treasure Dataでは Fluent::LoggerからTreasure Dataへデータを送る流れでやってみますが 今回は簡単に確認で…
はじめに 使ってみてからだいぶたってるのでうる覚えですが自分用にメモっておきます! ということで、td-agent(fluentd)関連の記事としてTreasure Dataを使う・使ってみるメモの①です 補足 そんなにテクニカルでも有用でもないカモですがこちらにメモまとめ…
はじめに td-agentを使ってみてから結構経ちました。 だんだん記憶から消えていきそうな自分の脳みそのために本番サービスに入れてみた時にやったことをメモっておくメモです 前回はこちら →td-agent(fluentd)を本番サービスで小さく使ってみたメモ①-dev、…
はじめに いきなりですが、tailしたいファイルが10とか20あった場合ってどうしましょう。 matchディレクティブのように<match hoge.**>ってワイルドカード指定したいですよね! そんなときのプラグインがこちらです →Globbing と日時指定書式が使える fluent-plugin-tail-ex</match>…
はじめに 他のエントリのための補足エントリとしても使いたかったので書きました また、シンボリックリンクとちょっとした仕組みでもできます。それについてはこちら →td-agent(fluentd)で日付指定のログをtailする①-シンボリックリンクでやる 補足 そんなに…
はじめに 他のエントリのための補足エントリとしても使いたかったので書きました とはいえ、こちら(7.シンボリックリンクでの…トコ)で書いたんですが このトピックについては埋もれてわかりずらかったので切り出せてよかったかも また、tail_exプラグインを…
はじめに td-agentを使ってみてから結構経ちました。 だんだん記憶から消えていきそうな自分の脳みそのために本番サービスに入れてみた時にやったことをメモっておくメモです ってことで、まずはその①です td-agentの導入とかはこちら →fluentd(td-agent)使…
はじめに fluentd(td-agent)を使ってin_tailでapacheのaccessログformat正規表現を作ってみるメモです。 おおよそ先人の方々がいろいろ残してくださった情報のまんまではありますが。。formatに指定する正規表現がすんなりうまくいかなくて こちらを参考にほ…
はじめに 記事にするほどでもないんですが、一応。。。 前回やったかんたんな導入+αでconfigをコメントアウトする程度ですインストールとかは↓にまとめました monitでtd-agentを監視してdaemontoolsぽく自動起動してみる 補足 そんなにテクニカルでも有用で…
monitを入れてみようと思った動機も最初に書いておきますざっくりすぎですがtd-agentはこんな運用を想定しています ・in_tailプラグイン使う ・in_tailはpos_file指定する ・tailするファイルは日付入りで日時でローテートされる ・in_tailのpathで指定する…
はじめに タイトルのとおりですが、pgrepやpkillを使ってプロセス名からkillするメモ。ちなみに、今まではプロセスを殺す際にこんな感じでやってました 今までの kill…その1 # ps aux | grep td-agent root 5041 0.0 0.1 150232 2112 pts/1 S+ 16:00 0:00 su…
はじめに td-agentのin_tailプラグインを使うと 指定したファイルをtail-fしてるように読みこんでからごにょごにょしてくれるわけですが、sourceディレクティブに指定するpath(tailするファイル)について確認してみました in_tailプラグインとは tail インプ…
はじめに td-agentのin_tailプラグインを使うと 指定したファイルをtail-fしてるように読みこんでからごにょごにょしてくれるわけですが、sourceディレクティブに指定するpos_fileの挙動について確認してみました in_tailプラグインとは tail インプットプラ…
td-agent導入のまとめをさらっと見たい自分用のメモ あじぇんだ ダウンロード インストール インストールされる先、設定ファイル、ログ場所とか 起動スクリプトオプション プラグイン デバッグモードにする ファイルディスクリプタの最大数を増やす ポート解…
はじめに 前回、fluentd(td-agent)を使って同一サーバ内でテストしてみたので今回はサーバ間で転送してみるテストです また、起動スクリプトを編集して詳細なログも出して確認してみます 補足 そんなにテクニカルでも有用でもないカモですがこちらにメモまと…
fluentdを任意の場所にインストールして使ってみるテストのほうでやってみた ファイル→ファイルの動作確認をtd-agentをインストールしてやってみますアプリケーションから吐く想定のログ、td-agentから吐く想定のログの場所なんかはこちらとまったくおなじ構…