Apache Hadoop

ビッグデータは、検索エンジン、ポイントカードを介して追跡された食料品店の購入パターンなどのソースから採掘されたデータのアイデア全体を網羅するマーケティング用語です。インターネットは、現代の世界では、スケールを使用すると、処理が行われずに使用できなくなり、処理はいずれかのサーバーによって膨大な時間がかかります。 Apache Hadoopを入力してください

Hadoopアーキテクチャを利用してネットワーク上の複数のマシンに処理タスクを分散することで、処理時間が天文学的に減少し、合理的な時間内に回答を決定できます。 Apache Hadoopは、ストレージコンポーネントと処理コンポーネントという2つの異なるコンポーネントに分割されています。最も簡単な言葉で言えば、Hapoodは1台の仮想サーバーを複数の物理マシンから作ります。実際には、Hadoopは、複数のマシン間の通信を管理しているため、あたかも1つのマシンだけが計算を行っているかのように見えます。データは複数のマシンに分散されて保存され、処理タスクはHadoopアーキテクチャによって割り当てられ、調整されます

このタイプのシステムは、生データをBig Data入力のスケールに関する有用な情報に変換するための要件です。ユーザーが検索リクエストを入力してから毎秒Googleが受け取るデータの量を考えてみましょう。データのトータルとして、開始する場所はわかりませんが、Hadoopはデータセットを自動的に小さく構成されたサブセットに縮小し、これらの管理可能なサブセットを特定のリソースに割り当てます。すべての結果が報告され、使用可能な情報に組み立てられます。

設定が簡単なサーバー

システムは複雑に聞こえますが、ほとんどの動いている部分は抽象的に隠れています。 Hadoopサーバーの設定は、システム要件を満たすハードウェアにサーバーコンポーネントをインストールするだけで簡単です。より困難な部分は、ストレージと処理の役割を分散するためにHadoopサーバーが利用するコンピュータのネットワークを計画することです。これには、ローカルエリアネットワークを設定するか、複数のネットワークをインターネットに接続することが含まれます。また、既存のクラウドサービスを利用して、Microsoft AzureやAmazon EC2などの一般的なクラウドプラットフォームでHadoopクラスタを支払うこともできます。これらは瞬時にスピンアップし、不要になったクラスタを廃止することができるため、構成がさらに簡単です。これらのタイプのクラスタは、Hadoopクラスタがアクティブになっている間だけ料金を支払うので、テストには理想的です。

データを処理して必要な情報を取得する

ビッグデータは非常に強力なリソースですが、データを適切に分類して情報に変換できない限り、データは無駄です。現時点では、Hadoopクラスタは、これらのデータの集合を情報に処理するための非常に費用対効果の高い方法を提供します。