人事・生産管理データをBigQueryへ自動連携する方法 | Reckoner

人事システム（カオナビ、kintone、SmartHR）と生産管理システム（Azure SQL）のデータをGoogle BigQueryに連携する際の課題・現状

社員の基本情報はSmartHRで、スキルや研修受講履歴、評価などのタレントマネジメント情報がカオナビで、社員ごとのミスやトラブル発生履歴、日報情報はkintoneで管理している。
Azure SQLで構築されている生産管理システムを利用している。
社員1人1人の生産性向上と、ミスを減らすために、人事関連のシステムと生産管理システムのデータを突合し、より細かい適材適所検討や、育成計画検討をおこないたい。データが膨大なため、DWHに入れてからBIツールで可視化をおこないたいが、各ツールで管理しているカラム名やデータ型が異なっていたり、欠損しているデータがあるため、データクレンジングの必要がある。人材育成の要件は頻繁に変わることを見越して、データクレンジングの要件も手軽にメンテナンスできるようにしておきたい。