きれいなデータを作る仕組み。Talendを使ってみる。　～その２～

こんにちはCoffeeです。

きれいなデータを作る仕組み。Talendを使ってみる。～その１～では、Talend(タレンド)の概要について説明しました。

今回はTalend(タレンド)を実際に使用してみて、

「データ収集」⇒「データ加工」⇒「データ出力」を体験してもらいたいと思います。

以下の図は作成する処理の大まかな流れです。

最初に顧客情報をデータベースから、

顧客情報と商品情報をファイルから収集します。
次に収集したデータを加工して、

最後にCSVファイルとしてデータ出力する流れです。

～私が試した実行環境～
・Windows7　64bit
・Java1.8
・Talend6.3
・PostgreSQL9.6

それでは、Talend(タレンド)によるデータ加工の詳細を見ていきます。

■加工前のデータを確認

今回は、私が用意したデータで加工をしていきます。
「データをきれいにする」にするとは、データを扱いやすいように、ルールに従ってデータを整形するということです。

以下のような「取引情報」「顧客情報」「商品情報」を用意しました。
あえて、同一項目のデータでありながら統一感の無い「汚い」データとなっています。

＜取引情報＞

取引情報は、データベースに格納されているデータをCSVとして表示しています。

文字列でもっている日付の型がバラバラだと、
後々この日付のデータを使って、集計や、並べ替えの際に、
同じ日を指しているのに、別の日と認識されてしまったりします。
データの形を合わせるというのは、結構重要なポイントです。

＜顧客情報＞

余談ですが、会社の名前って、でたらめで登録されていることが多いので、システムに携わる方であれば、あるあるネタです。

同じ会社でも例えばですが、こんなにバリエーションがあります。

AAA株式会社、AAA（株）、エーエーエー株式会社、ｴｰｴｰｴｰ株式会社

＜商品情報＞

商品情報ではデータ加工は行いません。

■データの加工方法と最終アウトプット

データが「汚い」度合いは、
システムの要件や、人それぞれかと思いますが、
このデータを以下のようなルールに従って整形していきます。

＜取引情報＞

＜顧客情報＞

データを整形する際は、データをどのように利用するかイメージ出来ている度合いが高いと、システム開発時や、システム運用時にトラブルが少ないと思います。

最終的な出力データは、下記のアウトプットを目指します。

■データ加工処理のポイント

前置きが少し長くなりましたが、次はTalendでの具体的な処理内容を見てみます。

先に説明した、データの加工方法に合わせて作成したTalendのジョブです。

順番としては、下記の流れになります。

１．取引情報をデータベースから取得する（tPostgresssqlInput_1）
２．顧客情報をファイルから取得する（tFileInputDelimited_1）
３．商品情報をファイルから取得する（tFileInputDelimited_2）
４．取引情報に対して、顧客情報と商品情報を突き合わせつつ、データの加工を施し、最終的なアウトプット情報を生成する。（tMap_1）
５．４で作成した情報を、ファイルとして保存する。（tFileOutputDelimited_1）

４の部分が今回データ加工の処理本体となり、先に記載したルールに従って変換させています。
今回の整形は難しくないため、１つのコンポーネントでデータ加工を実現しています。

下図の左の青枠から抽出したデータ（取引情報、商品情報、顧客情報）を選択して、右の赤枠でデータ加工処理を記載します。

では、Talend上で「汚い」データをどのようにデータ加工したかというと、Talendで用意された関数を利用して、加工を行いました。

＜取引情報の加工＞

＜顧客情報の加工＞

ちなみに、今回はわかりやすく理解してもらいやすいように簡単なデータとルールでの変換でしたが、tReplaceコンポーネントというものを使用すると、法人格（「㈱」、「（株）」、「(株)」、「㈲」等）を綺麗に統一することも可能です。今回の場合、顧客情報からtMapへリンクする間にtReplaceコンポーネントを挟んでtReplaceに定義を入れておくようなやり方もあります。