SplunkにTwitterのタイムラインを取り込んでみる
SplunkにTwitterのタイムラインを取り込む
今回はTwitterのタイムラインをSplunkに取り込んで色々と遊んでみます。
SplunkにはTwitter専用のAPP「App for Twitter Data」が用意されているのですが、残念ながらこのAppで取得出来るデータは、Twitterのサンプルストリームの1%を取得しているようで、せっかくなので自分のタイムラインを取得したいので却下。
ということで今回は、「REST API Modular Input」というAPPを使用してみます。
This app provides a scripted input for Splunk that automatically extracts tweets from Twitter’s 1% sample stream.
まずはそれをインストールします。
トップ画面の左側にある「+」のとこをクリック。
Appの一覧が表示されるのは、検索ボックスで「REST API Modular Input」と検索すると出てきたAPPをインストールします。
インストールにはsplunk.comのアカウントが必要です。
REST API Modular Inputの事前準備
それでは設定をしていきましょう。
「settings」->「Data inputs」->「REST」->「New」を選択します。
設定は以下のように設定しました。
| 項目名 | 設定値 |
|---|---|
| REST API Input Name | <任意の名前> |
| Endpoint URL | https://userstream.twitter.com/2/user.json |
| HTTP Method | GET |
| Authentication Type | oauth1 |
| OAUTH 1 Client Key | 「API Key」 |
| OAUTH 1 Client Secret | 「API Secret」 |
| OAUTH 1 Access Token | 「Access Token」 |
| OAUTH 1 Access Token Secret | 「Access Token Secret」 |
| Response Type | json |
| Streaming Request ? | 「チェック」 |
| Request Timeout | 86400 |
| Set sourcetype | manual |
| Source type | |
| More settings | 「チェック」 |
| Index | main |
OAUTHのAPI設定の部分は、Twitter APIの設定を入力。
Twitter APIの設定はTwitter Developersから行うことができます。
ご自身のアカウントでログインし、右上にあるアイコンから「My Applications」->「Create New App」からAPIの作成が可能です。
今回使用したのは、Stream APIなので、自分のタイムラインがリアルタイムに取り込まれてくるはず。
Twitterのタイムラインを検索してみる
早速検索してみます。
「sourcetype = Twitter」
で検索してみます。
問題無く取り込まれていますね。今回Response Typeをjsonにしたので、Splunkがjsonの構造を解釈して、自動でFieldを設定してくれています。
次回はこのFieldを活用していくつか分析をしてみます。
