sumologicを使ってVPC Flow Logsを可視化する

aws
Published: 2016-01-24

VPC FLow Logsを可視化したい

検証環境のVPC Flow Logsを収集、調査、分析するためにElasticSearch Serviceを利用していましたが、利用料をケチるためにt2.microで動かしていたため動作が遅く困っていました。オンプレミスで十分なリソースを積んだElasticSearchを立ててもよかったのですが、目的はログを分析することであって、ElasticSearchを運用することではありません。

そこで、VPC FLow Logsに対応しており、無料プランのあるログ分析SaaSを調べたところ、sumologicが見つかりました。Re:Invent2015の会場で相撲を取っていたあのsumologicです。

参考:Sumo wrestling, presented by SumoLogic @ AWS re:Invent2015 Game 3

トライアル期間を利用して、さらっと触ってみた結果をメモしておきます。

なお、現時点でのプランが30日トライアルのため、sumologicの全機能が利用できる状況です。30日後にフリープランになった場合、このエントリーに記載したことの何ができなくなるのか少々不安です。30日後に確認します。(参考:Pricing

SumoLogicにログを転送する仕組み

sumologicにログを転送する方法は2つあります。

方法 詳細
installed Collector 自前のサーバ上にインストールするコレクター。サーバにエージェントが常駐する
Hosted Collector sumologic上にホストされているコレクター。サーバにエージェントをインストールする必要なし

詳細はWhat’s the difference between Collector types?を参照ください。

Hosted CollectorはデフォルトでAWSの以下サービスに対応しています。残念なことに、現時点でVPC Flow Logsには未対応です。(VPC Flow LogsをS3に吐き出せば、そのログを取得できるかもしれません)

  • S3
  • ELB
  • CloudFront
  • CloudTrail
  • Config
  • S3 Audit

sumologicにVPC Flow Logsを送る方法

公式のヘルプ(Collecting Amazon VPC Flow Logs)に従い、installed Collectorを利用したログ転送を試したのですが、以下のエラーが出てしまい上手く行きませんでした。

2016-01-22 17:39:29,994 10946 [pool-2-thread-4] INFO com.amazonaws.internal.DefaultServiceEndpointBuilder  - {logs, ap-southeast-1} was not found in region metadata, trying to construct an endpoint using the standard pattern for this region: 'logs.ap-southeast-1.amazonaws.com'.

そこで今回は、sumologicのgithubリポジトリで公開されているLambdaファンクション(SumoLogic/sumologic-aws-lambda)を利用することにしました。このLambdaファンクションは、VPC Flow Logsに特化したものではなく、sumologicのAPIを利用してCloudWatch Logsをsumologicに送るものです。そのため、VPC Flow Logs以外でも利用可能です。

なお、sumologicのAPI(Collector Management API)は、PROFESSIONALプラン以上で利用可能です。そのため、FREEプランでは利用できません。。。

sumologicにログを送る

Hosted Collectorを作成します。

作成したHosted Collectorに、HTTPSでデータを投入できるAPIエンドポイントを追加します。

作成したエンドポイントの情報を元にSumoLogic/sumologic-aws-lambdaの内容を修正して、Lambdaファンクションを作ります。

最後に、作成したLambdaファンクションをVPC Flow LogsのSubscriptionに追加します。

ログを可視化する

sumologicには標準でVPC Flow Logsを可視化するAppsが用意されています。とりあえずこれを利用します。FREEプランになっても使えるかは要確認です。

Appには複数のダッシュボードとクエリが定義されています。とりあえずActivityなるダッシュボードを見てみます。

超カッコいい。

ログを検索する

独自のクエリ言語を利用して、ログを検索することができます。

取り込んだVPC Flow Logsを送信元IPアドレスで限定して、送信元IPアドレスと宛先IPアドレスで分類して転送バイトを合計、さらに合計値でソートしてみます。アウト方向の転送量が多い通信を特定するクエリをイメージしています。

_sourceCategory=xxxx_vpcflowlogs message
| json "message","logStream","logGroup"
| parse field=message "* * * * * * * * * * * * * *" as version,accountID,interfaceID,src_ip,dest_ip,src_port,dest_port,Protocol,Packets,bytes,StartSample,EndSample,Action,status
| where src_ip = "172.20.0.10"
| sum(bytes) group by src_ip,dest_ip
| sort by _sum

クエリの結果が、下の方に表示されています。

結果をCSVでダウンロードすることもできます。

結果をグラフにすることもできます。

さらに結果をダッシュボードに追加することもできます。

雑な所感

有料のSaaSだけあってかなり使いやすいです。また、Hosted Collectorを利用することで、サーバレスでAWSの各種ログを収集・分析することができます。今後、AWSのログを保存・分析するための基盤のお仕事があった場合、検討候補にしたいと思います。