ブログ

Culture

2023.2.20

冬だ！雪だ！スキーに行くんだ！｜スキー旅行

こんにちは！まっつんです！ 2/18(土)〜2/19(日)にアゼストスキー旅行に行ってきました！ イベント部長の松永さんの提案で決まった今回のスキー旅行の舞台は、越後湯沢！ 参加者は全員スキー未経験のど素人だったんですが、なんと松永さん、スキーインストラクターの経験あり！！ 丁寧にレクチャーしてもらい、1時間足らずで滑れるようになったメンバーも出てきました！ (大丈夫です、ボクも滑れるようになりました) スキーを満喫した後は、本日のお宿へ！ 、、、っと思ったら、まさかの宿が予約できてなかったというハプニング！ 幸いにも大部屋2つだけ空いてたので路頭に迷うことはありませんでした。ふぅ。   荷物を置いてディナーのお店探し！ 、、、がここでもハプニング！ シーズン中の越後湯沢。お店がどこも満席御礼状態！ 予約でいっぱいだったのです。。。 なんとか駅ナカの売店にあった玉こんにゃくやたこ焼きで空腹を満たせることに。ふぅ。   いろいろハプニングがありましたが、これも旅行の醍醐味ですね！笑 夜はスキー場で花火が打ち上げられ、間近で見ることができました！   温泉にも浸かって癒やされた後は、大量に買い込んだお酒とともに、カードゲーム大会！ 『ito』という、手札の数字を「テーマに沿った言葉」で表現して、小さい順に出していく協力系ゲームをやりました！ これがこれが大盛り上がり！で、気づいたら3時。。。 ボードゲーム大会もやろう！ということで近々ボードゲーム大会を開催予定です！(遊んでばっかだなぁ〜笑)   個人的には社員旅行否定派だったのですが、行ってみると楽しいものですね！ 普段はリモートワークであんまり交流無かったメンバーとも関われたのも良かったです！ そして、遊びもプロフェッショナルなアゼストは、今年2023年はいろいろなオフラインイベントを密かに計画中でございます！(松永部長よろしくです！)

more

Data Science

2022.7.31

話題のKNIME(ナイム)を使ってみた～Tableauとの相性はいかに～

株式会社アゼスト齋藤です。 データエンジニアとして、Tableauダッシュボード作成から、データ整理まで幅広く担当しております。 最近は、お客様と一緒にデータ取得方法の整理から、運用に使うデータソース整備の取り組むことが多くなっております。 みなさんこんにちは。データプリパレーションには皆様苦労されていると思います。今回、データ分析プラットフォームツールとカテゴライズされているKNIME(ナイム)を使って、KNIME x Tableauのコンビネーションでデータプリパレーションとビジュアライズの組み合わせを試してみたので、ご紹介します。 KNIMEとは？ ①データ分析、操作、およびビジュアル化のためのオープンソースのツールです。つまり無料！ ②グラフィカルインターフェイスに基いてます。 ③さまざまな拡張機能(統計解析、機械学習機能やクラウドサービスとの連携等)を提供します。 加工処理や分析処理の部品(ノード)をドラッグ&ドロップしながらワークフローを作成していくことができます。今回はデータプレパレーションを試してみます。 KNIME x Tableauの構成 Amazon S3上にjson形式で日々蓄積されるトラフィックデータをTableauでモニタリングできるようなビジネスシーンを想定して、以下のような構成でプリパレーションの自動化を試みてみます。 KNIMEを使ってみた 加工のステップとしては、以下の5つです。 ①AWSのS3からjsonデータを複数読み込み ②json形式から行列形式に変換 ③ちょっと加工してパブリッシュ こんな感じでワークフローを作ってみました。 緑の〇で囲まれた箇所（JSON Reader）では、S3のパスを指定するだけでOKです。 赤の〇で囲まれた箇所のデータを覗いてみます。右クリックでロードした全てのデータを参照することができます。全てのノードの状態が同じように確認できるので、期待通りの処理が行えているかを一つ一つ確認できるのが非常に嬉しいです。さて、ここからTableauで可視化できるように行列形式に変換します。尚、String型の日付はファイル名に含まれる日付を変数化して付与してみました。 最後に青〇で囲まれたノードの状態です。プレパレーションが完了したこの形式ならVizに取り掛かれますね。 単純なデータですが、Viz作ってみました。 月別の合計トラフィックをサマリー、日別、時間帯別の波形が確認できました。それぞれ、ピーク時間とそうでないところに激しく差があることが読み取れるので、リソースを状況に応じて変動できるとコスト最適化につながりそうです。   良かったところまとめ 使ってみて特に感動した機能を5つご紹介すると・・・ ①各ノードを通過後のデータが都度見れる ノード前後で数値検証できるのでロジックの検証もでき便利でした。さらに、処理後の状態でワークフローを保存しておけば、KNIMEを一度閉じても、次に起動したらデータが残っていて見れるので前回処理した結果を見ることができました。重たい処理を改良する際など、再度実行する待ち時間待ち時間を減らすのにも役立ちそうです。 ②ノード(部品)をフリーワードで検索できる 「group」や「join」と打ち込むと、ノードを検索してくれるので、部品の名前を覚えていなくても、行いたい操作のノードが見つかる。※ちなみにノードの種類は1000位あるみたいです。 ③速い これは体感してみないとわからないと思うのですが、とにかく速かったです。各ノードの処理進捗が%で見えるので、あとどれくらいかかりそうかわかって良かったです。 ④幅広いデータソースと接続可能 今回はAmazon S3のjsonファイルを読み込みましたが、各種ファイルのみならず、AWSRedshiftをはじめとする各種データベースや、GoogleAnalyticsと接続するためのノードも用意されていました。 ⑤Tableauとの相性はばっちり！ Hyper形式、tde形式それぞれでTableau Server / Tableau Onlineそれぞれにデータを直接パブリッシュできるので、運用面でもメリットが大きそうです。

more