Hologres

SBクラウド株式会社 > ドキュメントセンター > 開発者リソース > Hologres

プロダクト紹介

Hologresとは

Hologresは、AlibabaCloudによって開発されたリアルタイムのインタラクティブ分析サービスです。
PostgreSQL 11と完全に互換性があり、ビッグデータエコシステムとシームレスに統合されます。Hologresを使用して、ペタバイト単位のデータを高い同時実行性と低い遅延で分析および処理できます。
現代の知識ベースの社会は、データ収集の大幅な改善を特徴としています。これらのデータ収集方法は、企業がデジタルトランスフォーメーションを加速するのに役立ち、テラバイト、ペタバイト、さらにはエクサバイトのデータを管理できるようにします。データ要件の量の急激な増加は、データミッドエンドの急速な進歩を伴いました。データアプリケーションは、データサポート、ユーザープロファイリング、リアルタイムのターゲットユーザー識別、正確な広告など、コアビジネス領域に重点を置く傾向があります。信頼性が高く、待ち時間が短いデータサービスは、企業のデジタルトランスフォーメーションの鍵です。
Hologresは、大規模でコンピューティングに最適化されたストレージと、低コスト、高性能、高可用性によってサポートされる優れたクエリ機能を提供するように設計されています。リアルタイムのデータウェアハウスソリューションとリアルタイムのインタラクティブクエリサービスを提供します。

特徴

• オフラインビッグデータ処理
  Hologresは、基盤となるレイヤーでMaxComputeとシームレスに統合され、オフラインデータの分析をサポートします。MaxComputeプロジェクトで大量のデータをクエリおよび分析し、メインストリームツールと標準のPostgreSQLステートメントを使用してクエリ結果を取得できます。
• リアルタイムのデータ処理
  Hologresを使用すると、同時実行性の高いHologresにデータを書き込み、書き込まれたデータをリアルタイムでクエリおよび分析できます。これは、エンタープライズレベルのリアルタイムデータウェアハウスを構築するのに役立ちます。
• BIツール
  HologresはPostgreSQLと互換性があり、Java Database Connectivity（JDBC）またはOpen Database Connectivity（ODBC）ドライバーを提供します。Hologresをさまざまなビジネスインテリジェンス（BI）ツールに接続して、データを移行することなく、さまざまなシナリオで複数のディメンションから大量のデータをクエリおよび分析できます。

利点

HologresはPostgreSQLと互換性があり、オフラインのMaxComputeデータのクエリと分析、およびリアルタイムで書き込まれたデータのクエリを実行できます。また、リアルタイムおよびオフラインのデータに対してフェデレーション分析を実行することもできます。これは、企業向けのリアルタイムデータウェアハウスを構築するのに役立ちます。
Hologresには次の利点があります。

• 迅速な対応
  オープンソースシステムよりも優れたパフォーマンスで知られるHologresは、ペタバイトレベルのデータのクエリ要求に1秒未満で応答できます。ベクトル化されたコンピューティングとインテリジェントな列ストアのインデックス作成をサポートします。Hologresを使用して、複数の次元からリアルタイムでデータを分析できます。
• MaxComputeデータのインタラクティブな分析 HologresはMaxComputeとシームレスに統合されます。データを移行せずに、Hologresを使用してMaxComputeプロジェクトから直接データをクエリし、結果を取得できます。
  MaxComputeデータを個別にクエリすることも、MaxComputeデータとリアルタイムデータに対してフェデレーション分析を実行することもできます。これにより、企業向けのリアルタイムデータウェアハウスを低コストで高い効率で構築できます。
• 同時実行性の高いリアルタイムの書き込みとクエリ
  Hologresは、リアルタイムの書き込みと同時実行性の高いリアルタイムデータのクエリをサポートし、最大1秒あたり数億トランザクション（TPS）の書き込み速度を実現します。
• 統合エンジンアーキテクチャ
  Hologresは、ストレージリソースをコンピューティングリソースから分離する統合エンジンアーキテクチャを使用しています。
  動的な構成変更と自動スケーリングをサポートします。ビジネスニーズに基づいて、Hologresリソースをスケールインまたはスケールアウトできます。デプロイするリソースが多いほど、サポートされる同時タスクの数が多くなります。
  このアーキテクチャは、行ストアと列ストアの両方をサポートします。さらに、Hologresは、単純なクエリ、複雑なクエリ、およびアドホッククエリの多様な分析およびクエリ要件を満たすことができます。
• 使いやすさ
  HologresはPostgreSQLと互換性があり、ビッグデータコンピューティングエンジンに依存してクラウドでインテリジェントなR＆DをサポートするDataWorksとシームレスに統合されます。Hologresを使用すると、追加の学習を必要とせずに、標準のPostgreSQLに基づいてデータを分析できます。

シナリオ

Hologresは、PostgreSQLエコシステムと互換性のあるリアルタイムのインタラクティブ分析エンジンであり、ビッグデータエコシステムとシームレスに統合されます。Hologresは、大量のリアルタイムおよびオフラインデータのリアルタイム分析をサポートしています。サードパーティのビジネスインテリジェンス（BI）ツールを使用して、Hologresに接続し、視覚化された方法でデータを分析できます。このトピックでは、Hologresのコア機能が使用される典型的なシナリオについて説明します。

リアルタイムのデータウェアハウス構築

ビジネスデータは、抽出、変換、読み込み（ETL）操作のために、リアルタイムでRealtimeComputeに書き込まれます。次に、データをHologresでリアルタイムに照会し、リアルタイム分析用のサードパーティ分析ツールにエクスポートできます。このシナリオの一般的なアプリケーションは次のとおりです。

• リアルタイムのデータウェアハウス、リアルタイムのダッシュボード、およびデータ部門でのリアルタイムのレポートと分析。
• リアルタイムの監視、リアルタイムの例外検出とアラート、および運用と保守（O＆M）とデータアプリケーションでのリアルタイムのデバッグ。
• リアルタイムのリスク管理、リアルタイムの推奨、リアルタイムの効果分析、およびビジネス部門でのリアルタイムのトレーニング。

オフラインMaxComputeデータの高速クエリ

ビジネスデータがオフラインデータウェアハウスMaxComputeに書き込まれた後、Hologresを使用してデータを直接クエリするか、クエリのためにデータをHologresにインポートできます。BIツールを使用して、Hologresに接続し、オフラインデータをリアルタイムで分析できます。このシナリオの一般的なアプリケーションは次のとおりです。

• オフラインのMaxComputeデータをリアルタイムでクエリします。
• 分析用のオフラインMaxComputeデータに基づいてレポートを生成します。
• オンラインで使用するためにオフラインのMaxComputeデータを適用します。たとえば、RESTfulAPIを介してテーブルデータを公開します。

オフラインおよびリアルタイムデータの統合分析

ビジネスデータは、アクセス頻度に基づいてホットデータとコールドデータに分けられます。コールドデータはオフラインデータウェアハウスMaxComputeに保存されますが、ホットデータはHologresに保存されます。Hologresを使用して、オフラインおよびリアルタイムのデータに対してフェデレーション分析を実行できます。HologresはBIツールに接続されており、単純なクエリと複雑なクエリのビジネス要件に対応できます。

スタートガイド

データベースを作成する

このトピックでは、HologresコンソールまたはPostgreSQLクライアントからデータベースを作成する方法について説明します。

前提条件

Hologresインスタンスを購入します。Hologresインスタンスを購入すると、デフォルトでpostgresという名前のデータベースが作成されます。このデータベースにはいくつかのリソースが割り当てられており、管理目的でのみ使用されます。ビジネスニーズに基づいてデータベースを作成することをお勧めします。

データベースを作成できるのは、スーパーユーザーまたはデータベース作成権限を付与されたユーザーのみです。

Hologresコンソールでデータベースを作成します

1. Hologresコンソールにログオンします。
2. 左側のナビゲーションペインで、[インスタンス]をクリックします。上Hologresインスタンスのページ、購入したインスタンスの名前をクリックします。インスタンスの詳細ページが表示されます。また、クリックすることができます管理にアクションインスタンスの詳細ページに移動するには、ターゲット・インスタンスの列。
3. インスタンスの詳細ページの左側のナビゲーションペインで、[データベース]をクリックします。
4. 上のデータベース]タブをクリックし、データベースを作成します。
5. [データベースの作成]ダイアログボックスで、[データベース名]フィールドにデータベース名を入力し、ビジネスニーズに基づいてSPMパラメーターを設定して、単純アクセス許可モデル（SPM）を有効にするかどうかを指定します。Hologresを使用すると、標準のPostgreSQL認証モデルまたはSPMを使用してユーザー権限を管理できます。
6. HologresはPostgreSQLと互換性があり、標準のPostgreSQL認証モデルとまったく同じアクセス許可モデルを使用します。詳細については、標準のPostgreSQL認証モデルを使用してアクセス許可を付与するを参照してください。
7. 顧客のビジネスに対する理解と実際の経験に裏打ちされたAlibabaCloudは、ユーザー権限の管理を簡素化するためにSPMをHologresに導入しました。詳細については、SPMの概要を参照してください。
8. アクセス許可の管理を簡素化する場合は、データベースを作成するときにSPMを有効に設定することをお勧めします。
9. [OK]をクリックします。データベースが作成されると、[データベース]タブに表示されます。

PostgreSQLクライアントからデータベースを作成します

1. PostgreSQLクライアントからターゲットHologresインスタンスに接続します。詳細については、「PostgreSQLクライアントからHologresインスタンスに接続する」を参照してください。
2. 次のSQLステートメントを実行してデータベースを作成します。

   CREATE Database NewDatabaseName; 
   CREATE Database test; // Create a database named test.
   

3. ¥lコマンドを実行して、現在のインスタンスのデータベースを表示します。
4. ¥c NewDatabaseNameコマンドを実行して、作成したデータベースに接続します。このコマンドを実行するときは、NewDatabaseNameを作成したデータベースの名前に置き換えてください

標準のPostgreSQLステートメントを使用して、PostgreSQLクライアントからのデータを分析します。たとえば、SQLステートメントを使用してMaxComputeデータをHologresにインポートできます。詳細については、「SQLステートメントを使用してMaxComputeをHologresにインポートする」を参照してください。DataWorksまたはHoloWebのHoloStudioをデータ分析に使用することもできます。詳細については、概要またはクイックスタートを参照してください。

クイックスタート

HoloWebは、Hologresに基づいて構築されたワンストッププラットフォームです。HoloWebを使用すると、視覚化された方法でデータを分析し、データベースを管理できます。このトピックでは、HoloWebで実行できる基本的な操作について説明します。

前提条件

• AlibabaCloudアカウントが作成されます。
• 実名確認が完了しました。
• Hologresインスタンスが購入されました。詳細については、「Hologresインスタンスの購入」を参照してください。

手順

1. Hologresコンソールにログオンします。
2. 上部のナビゲーションバーで、ドロップダウンリストから地域を選択します。
3. 左側のナビゲーションペインで、[インスタンス]をクリックします。上Hologresインスタンスのページ、 クリックhologresデータベースにログインし、
4. 接続を作成します。
   1. 上の接続管理HoloWebコンソールのページ、クリックデータ接続]タブを。[新しい接続]ダイアログボックスが表示されます。
   2. [新しい接続]ダイアログボックスで、必要に応じてパラメータを設定し、クリックOK。

      パラメータ	説明	備考
      接続名	接続の名前。必要に応じて名前を入力します。	該当なし
      接続の説明	接続の説明。	該当なし
      ホスト	Hologresインスタンスのエンドポイント。	Hologresインスタンスのエンドポイントは、Hologresコンソールのインスタンス詳細ページの[構成]タブで確認できます。
      ポート	Hologresインスタンスのポート番号。	Hologresインスタンスのポート番号は、Hologresコンソールの[インスタンスの詳細]ページの[構成]タブで確認できます。
      データベースを初期化する	HoloWebが接続されるデータベースの名前。	Hologresコンソールのインスタンス詳細ページの[データベース]タブで、Hologresインスタンスで作成されたデータベースを表示できます。
      AccessKey ID	AlibabaCloudアカウントのAccessKeyID。	AccessKey IDは、ユーザー管理コンソールで取得できます。
      AccesssKeyシークレット	あなたのAlibabaCloudアカウントのAccessKeyシークレット。	AccessKeyシークレットは、ユーザー管理コンソールで取得できます。
      接続をテストする	データベースを接続できるかどうかをテストします。データベースに接続できる場合は、「テストに合格しました」というメッセージが表示されます。 データベースに接続できない場合は、「テストに失敗しました」というメッセージが表示されます。	該当なし

5. データベースを作成します。Hologresインスタンスを購入すると、デフォルトでpostgresという名前のデータベースが作成されます。このデータベースは、より少ないリソースで割り当てられ、管理目的でのみ使用されます。ビジネスデータを処理するために、他のデータベースを作成することをお勧めします。データベースを作成した場合は、この手順をスキップして次の手順に進みます。
   1. 上の接続管理HoloWebコンソールのページ、クリックデータベース]タブを。[新しいデータベース]ダイアログボックスが表示されます。
   2. 新しいデータベース]ダイアログボックスで、必要に応じてパラメータを設定し、クリックOK

      パラメータ	説明
      接続名	データベースの作成に基づく接続の名前。
      データベース名	作成するデータベースの名前。データベース名は一意である必要があります。
      権限ポリシー	データベースの権限管理モデル。Simpleを選択することをお勧めします。

6. クエリタスクを作成します。HoloWebをHologresインスタンスに接続した後、標準のPostgreSQLステートメントを使用してクエリページのデータを分析できます。クエリタスクを作成するには、次の手順を実行します。
   1. 上部のナビゲーションバーで、[クエリ]をクリックします。[クエリ]ページで、[ SQLウィンドウ]タブをクリックします。[新しいSQLクエリ]ダイアログボックスが表示されます。
   2. 新しいSQLクエリ]ダイアログボックスで、必要に応じてパラメータを設定し、クリックOK。

      パラメータ	説明
      職種名	作成するクエリタスクの名前。
      ディレクトリ	クエリタスクが存在するディレクトリ。デフォルト値：MySQLクエリ。
      接続名	クエリタスクの作成に基づく接続の名前。
      データベース名	データの照会元となるデータベースの名前。

   3. SQLエディターに次のステートメントを入力し、アイコンをクリックします。

      BEGIN;
      CREATE TABLE nation (
       n_nationkey bigint NOT NULL,
       n_name text NOT NULL,
       n_regionkey bigint NOT NULL,
       n_comment text NOT NULL,
      PRIMARY KEY (n_nationkey)
      );
      CALL SET_TABLE_PROPERTY('nation', 'bitmap_columns', 'n_nationkey,n_name,n_regionkey');
      CALL SET_TABLE_PROPERTY('nation', 'dictionary_encoding_columns', 'n_name,n_comment');
      CALL SET_TABLE_PROPERTY('nation', 'time_to_live_in_seconds', '31536000');
      COMMIT;
      
      INSERT INTO nation VALUES
      (11,'zRAQ', 4,'nic deposits boost atop the quickly final requests? quickly regula'),
      (22,'RUSSIA', 3  ,'requests against the platelets use never according to the quickly regular pint'),
      (2,'BRAZIL',  1 ,'y alongside of the pending deposits. carefully special packages are about the ironic forges. slyly special '),
      (5,'ETHIOPIA',  0 ,'ven packages wake quickly. regu'),
      (9,'INDONESIA', 2  ,'slyly express asymptotes. regular deposits haggle slyly. carefully ironic hockey players sleep blithely. carefull'),
      (14,'KENYA',  0  ,'pending excuses haggle furiously deposits. pending, express pinto beans wake fluffily past t'),
      (3,'CANADA',  1 ,'eas hang ironic, silent packages. slyly regular packages are furiously over the tithes. fluffily bold'),
      (4,'EGYPT', 4 ,'y above the carefully unusual theodolites. final dugouts are quickly across the furiously regular d'),
      (7,'GERMANY', 3 ,'l platelets. regular accounts x-ray: unusual, regular acco'),
      (20 ,'SAUDI ARABIA',  4 ,'ts. silent requests haggle. closely express packages sleep across the blithely');
      
      SELECT * FROM nation;
      

   4. 実行結果を表示します。
7. 外部テーブルを作成します。Hologresを使用すると、基盤となるレイヤーでMaxComputeとシームレスに統合され、外部テーブルを作成してMaxComputeデータのクエリを高速化できます。外部テーブルを作成するには、次の手順を実行します。
   1. 上の接続管理HoloWebコンソールのページ、クリック外部テーブルのタブを。[新しい外部テーブル]タブが表示されます。
   2. 上の新しい外部表]タブ、必要に応じてパラメータを設定し、クリックしてください送信。

      パラメータ	説明	備考
      接続名	外部テーブルを作成する基準となる接続の名前。	該当なし
      データベース	外部テーブルが作成されるデータベースの名前。	該当なし
      テーブル名	外部テーブルの名前。	必要に応じて名前を入力します。
      説明	外部テーブルの説明。	必要に応じて説明を入力します。
      モード	外部テーブルが作成されるスキーマ。	デフォルト値：public。カスタムスキーマを選択することもできます。
      タイプ	ソーステーブルのサービスタイプ。	デフォルト値はMaxComputeで、変更できません。
      サーバーリスト	ソーステーブルが格納されているサーバー。	Hologresの基盤となるレイヤーで作成されたodps_serverサーバーを選択できます。詳細については、PostgresFDWを参照してください。
      テーブル	マップするMaxComputeのソーステーブル。	このパラメーターの値は、の形式ですproject.table_name。注選択したHologresインスタンスのリージョンとは異なるリージョンに格納されているMaxComputeテーブルをマップすることはできません。
      SQLスクリプト	SQLをダウンロードします。

   3. 外部テーブルを作成したら、[接続管理]ページの左側のナビゲーションペインで[マイ接続]をクリックします。外部テーブルをダブルクリックします。表示されるタブで、[データのプレビュー]をクリックし、ソースデータをプレビューします。

PostgreSQLクライアントからHologresを使用する

このトピックでは、PostgreSQLクライアントからHologresに接続して使用する方法について説明します。このトピックを読むと、Hologresを使用する基本的なプロセスをよりよく理解できるようになります。

HologresはPostgreSQLと互換性があり、ビッグデータエコシステムとシームレスに統合されます。Hologresを使用すると、MaxComputeデータを直接クエリして分析できます。Hologresを使用して、大量のデータを高い同時実行性でリアルタイムに挿入およびクエリすることもできます。Hologresは、企業向けのリアルタイムデータウェアハウスを高効率で構築するのに役立ちます。
次のコンテンツでは、PostgreSQLクライアントからHologresを使用する基本的なプロセスについて説明します。
DataWorksまたはHoloWebのHoloStudioを使用して、視覚化された方法でHologresの使用を開始することもできます

手順

1. Hologresインスタンスを購入します。
   1. Alibaba Cloud国際サイト（alibabacloud.com）にログオンします。
   2. Hologres製品のランディングページに移動し、Hologresインスタンスを購入します。詳細については、請求方法を参照してください。
2. Hologresコンソールでインスタンスの詳細を表示します。
   1. Hologresコンソールに移動します。
   2. 左側のナビゲーションペインで、[インスタンス]をクリックします。上Hologresインスタンスのページ、購入したインスタンスの名前をクリックします。表示されるインスタンスの詳細ページで、インスタンスの詳細を表示します。また、クリックすることができます管理にアクションインスタンスの詳細ページに移動するには、ターゲット・インスタンスの列。
3. PostgreSQLクライアントからHologresインスタンスに接続します。詳細については、「PostgreSQLクライアントからHologresインスタンスに接続する」を参照してください。
4. ビジネス目的のデータベースを作成します。Hologresインスタンスを購入すると、デフォルトでpostgresという名前のデータベースが作成されます。このデータベースにはいくつかのリソースが割り当てられており、管理目的でのみ使用されます。ビジネスニーズに基づいてデータベースを作成することをお勧めします。たとえば、次のSQLステートメントを実行してデータベースを作成できます。 Hologresコンソールでデータベースを作成することもできます。詳細については、データベースの作成を参照してください。
5. オプション：RAMユーザーを許可します。
   1. RAMユーザーを作成します。詳細については、「RAMユーザーの作成」を参照してください。RAMユーザーを作成した場合は、この手順をスキップしてください。
   2. 作成したHologresインスタンスの開発権限をRAMユーザーに付与します。詳細については、「Hologresインスタンスの開発権限をRAMユーザーに付与する」を参照してください。RAMユーザーに通常のユーザーロールが割り当てられている場合、インスタンスの開発権限がRAMユーザーに付与された後でのみ、RAMユーザーを使用してHologresインスタンスにアクセスできます。RAMユーザーにスーパーユーザーの役割が割り当てられている場合は、この手順をスキップしてください。
6. データを分析します。標準のPostgreSQLステートメントを使用して、PostgreSQLクライアントからのデータを分析します。
   たとえば、次のSQLステートメントを実行して、データベースにテーブルを作成し、そのテーブルにデータを書き込むことができます。

   BEGIN;
   CREATE TABLE nation (
    n_nationkey bigint NOT NULL,
    n_name text NOT NULL,
    n_regionkey bigint NOT NULL,
    n_comment text NOT NULL,
   PRIMARY KEY (n_nationkey)
   );
   CALL SET_TABLE_PROPERTY('nation', 'bitmap_columns', 'n_nationkey,n_name,n_regionkey');
   CALL SET_TABLE_PROPERTY('nation', 'dictionary_encoding_columns', 'n_name,n_comment');
   CALL SET_TABLE_PROPERTY('nation', 'time_to_live_in_seconds', '31536000');
   COMMIT;
   
   INSERT INTO nation VALUES 
   (11,'zRAQ', 4,'nic deposits boost atop the quickly final requests? quickly regula'),
   (22,'RUSSIA', 3  ,'requests against the platelets use never according to the quickly regular pint'),
   (2,'BRAZIL',  1 ,'y alongside of the pending deposits. carefully special packages are about the ironic forges. slyly special '),
   (5,'ETHIOPIA',  0 ,'ven packages wake quickly. regu'),
   (9,'INDONESIA', 2  ,'slyly express asymptotes. regular deposits haggle slyly. carefully ironic hockey players sleep blithely. carefull'),
   (14,'KENYA',  0  ,'pending excuses haggle furiously deposits. pending, express pinto beans wake fluffily past t'),
   (3,'CANADA',  1 ,'eas hang ironic, silent packages. slyly regular packages are furiously over the tithes. fluffily bold'),
   (4,'EGYPT', 4 ,'y above the carefully unusual theodolites. final dugouts are quickly across the furiously regular d'),
   (7,'GERMANY', 3 ,'l platelets. regular accounts x-ray: unusual, regular acco'),
   (20 ,'SAUDI ARABIA',  4 ,'ts. silent requests haggle. closely express packages sleep across the blithely');
   
   SELECT * FROM nation;

   DataWorksまたはHoloWebのHoloStudioをデータ分析に使用することもできます。詳細については、HoloStudioのクイックスタートまたはクイックスタートを参照してください。
   Hologresでのデータ分析の詳細については、「外部テーブルを作成してMaxComputeデータのクエリを高速化し、RealtimeComputeからHologresにリアルタイムでデータを書き込む」を参照してください。