現在位置: ホーム / ビッグデータ ブログ

サイオス ビッグデータブログ

ビッグデータ企業の経営、新サービス、新製品の為にビッグデータの必要性が盛んに叫ばれても従来のIT技術だけでは、難しい現実があります。今まで高度なIT技術と豊富な資金と人材をもつ企業だけがビッグデータを利用していましたが、これを一般の企業にも簡単に導入できるようにするのが、今回サイオスがご提供するSSTD(SIOS Support for Treasure Data)サービスです。

このコーナーでは、ビッグデータ処理の導入支援となるSSTDに関連したビッグデータに関する技術情報を中心にご紹介します。

Tableau Conference Tokyo 2017 - 2日目レポート

4月に東京・恵比寿で開催された,Tableau Conference のキーノートとセッションについて簡単に紹介します。

Tableau Conference Tokyo 2017 - 2日目レポート - もっと読む

Digdagを使ってワークフロー管理を行う

過去に「Airflow」を取り上げましたが、今回は「Digdag」を取り上げます。 サンプルは、TreasureDataと連携するワークフローを作成してみます。

Digdagを使ってワークフロー管理を行う - もっと読む

Airflowを使ってワークフロー管理を行う

過去に「Azkaban」を取り上げましたが、今回は「Airflow」を取り上げます。 サンプルは、TreasureDataと連携するワークフローを作成してみます。

Airflowを使ってワークフロー管理を行う - もっと読む

Data TanksのデータをTableau Serverでビュー表示する

2015年にリリースされた「Treasure Data」のオプションサービス「Data Tanks」について、 データ投入から「Tableau Server」によるデータのビュー表示までを、 順を追って見ていきます。

Data TanksのデータをTableau Serverでビュー表示する - もっと読む

Tableau 9.0 ロードショーに参加してきました

本日、東京でTableau9.0のロードショーが開催されました。その参加報告をさせていただきます。

Tableau 9.0 ロードショーに参加してきました - もっと読む

第一回ビッグデータハンズオンセミナー(5/26)開催報告

5月26日(火)にクラウド型データマネジメントサービス”Treasure Data”及びデータタビジュアライゼーションツール”Tableau”でビッグデータ利用を体感いただくことを目的としたビッグデータハンズオン セミナーを実施致しました。その開催報告をさせていただきます。

第一回ビッグデータハンズオンセミナー(5/26)開催報告 - もっと読む

AWS VPC内のRDSにTreasureDataからResult Outputする

TreasureDataを使ったシステムを作る際に、BIツールの参照用にデータマートを使った構成にすることがあります。 その場合、データマートとしてRDSをつかってRDBを構築するのですが、AWSではVPCがデフォルトのため、構築したRDBをTreasureDataから見える状態にする必要があります。 その際の確認ポイントをまとめます。

AWS VPC内のRDSにTreasureDataからResult Outputする - もっと読む

Let's GO, fluentd on Windows!

fluentd forwardarのGo版が先月リリースされたので、今回はWindowsでfluentd fowarderを動かしてみます。この記事は、Qiita Fluentd Advent Calendar 18日目の記事です。

Let's GO, fluentd on Windows! - もっと読む

TreasureDataのBulkImportによるバッチ処理

TreasureDataでのBulkImportのTipsやスクリプトを作る際の考慮点についての紹介となっています。QiitaのTreasureData Advent Calendarの7日目の記事です。

TreasureDataのBulkImportによるバッチ処理 - もっと読む

TreasureDataの1年半を機能面で振り返る

TreasureDataでは週1回のサイクルでリリースが行われています。そこで今回は、私がTreasureDataと関わり始めた1年半前と比べて、どういった機能が追加されてきたのかをまとめて紹介したいと思います。

TreasureDataの1年半を機能面で振り返る - もっと読む

Treasure Query Accelerator 14日間無料トライアル

こんにちは、大村@SSTDです。先日、トレジャーデータ社のWEBサイトにリリースノートのページが存在することを先日紹介いたしましたが、今日は10月7日に発表になったお知らせを紹介します。

Treasure Query Accelerator 14日間無料トライアル - もっと読む

Azkabanを使って依存関係のあるジョブの管理を行う(インストール編)

こんにちは、高橋@SSTDです。 複数のサービス間でデータ連携したりするには、データフローの中に必ずバッチ処理が必要となります。 これは、ビッグデータを扱う際にも同様で、全ての処理をリアルタイムに行うことは残念ながら難しく、Hadoop等の大規模分散処理を得意とするバッチ処理型ツールを用いて、データの正規化等を行う必要がでてきます。 このようなシステムの運用を行うときには、依存関係が複雑になってしまい、バッチ処理のエラーハンドリングやエラー通知、障害発生時のリトライが非常に重要となります。

Azkabanを使って依存関係のあるジョブの管理を行う(インストール編) - もっと読む

Tableau Server/OnlineへTreasureDataのクエリ実行結果を出力する

こんににちは、SSTDの髙橋です。 先日、トレジャーデータのResult Outputの新機能として、Tableau Server/Onlineへのクエリ結果書き出しが可能になりました。 これによって、Tableau Server/Onlineでダッシュボードを作っておくだけで、 データの定期更新ができるようになります。 今回はTableau Onlineを使って、この機能について紹介していきます。

Tableau Server/OnlineへTreasureDataのクエリ実行結果を出力する - もっと読む

ドキュメントアクション