クリックだけであらゆるサイトをスクレイピングできるWebサービス「kimono」が凄い

Kimono  Turn websites into structured APIs from your browser in seconds

Webスクレイピングとは、Webサイトから情報を抽出するソフトウェア技術のこと。通常サイトごとにちまちまとプログラムをつくる必要がありますが、現在ベータ中のサービスkimonoは凄い。ブラウザを使ってクリックするだけで、WebサイトからJSON/CSV形式でデータを抽出する事ができます。

紹介動画ではイマイチなにをしているのか分からなかったので、実際に試してみました。

サインアップとブックマークレットの準備

Kimono  Get Started

アカウントを登録してログインするとこの画面が表示されます「kimonify」をブックマークバーにドロップして使えるようにしておきます。

スターウォーズの登場人物の名前と誕生日を抽出

実際にデータを抽出してみましょう。公式ブログ「Never write a web scraper againで使われているスターウォーズのサンプルが分かりやすいです。

Character ages  Yoda s Datapad 1

まずブックマークレット「kimonify」をクリック。次にテーブルヘッダーの「Character」をクリック。するとその列のデータが反転するので、データの横のチェックマークをクリックします。

Character ages

すると画面の上の方に23が表示され、1列目が完成しました。さらにデータを抽出したい場合、その横のプラスマークをクリックします。「Birthdate」をクリックして同じように操作します。

Character ages  Yoda s Datapad 4

完了したら、画面右上の「Data Model View」アイコンをクリック。

Character ages  Yoda s Datapad 5

抽出列のタイトルをつけることができます。

Character ages  Yoda s Datapad 7

「CSV / JSON View」アイコンをクリックすると、実際に抽出できるデータが表示されます。スターウォーズのキャラクターと誕生日がJSON形式で表示されていますね。

The kimono blog

全部完了したら「Done」ボタンをクリック。外部から利用できるAPIエンドポイントを設定することができます。APIのURLから、例えばcurlなどを使ってデータをゲットすることができます。スクレイピングの頻度なども設定することができます。

まとめ

Kimono  Pricing

ということで、かなり凄い「kimono」ですが、本格的に使用する場合はお金がかかります。ベータ期間中は無料で使える機能が増えているようなので、気になっている方はこの期間中に試してみると良いでしょう。

スクレイピング先のWebサイトが、スクレイピングを許しているかどうか注意が必要ですけれども、プログラムをつくることなくデータを抽出できるサービスは画期的だと思いました。

kimono: a 60 second introduction from Kimono Labs on Vimeo.

スポンサーリンク