はApache Hadoopのは、最初にヤフーが開発したプロジェクトは、以前のApache HadoopのコアとApache Hadoopの共通リポジトリ間の組み合わせです。
のHadoopプロジェクトは、大量のデータを処理するためのマルチサーバー分散コンピューティングシステムを実装するには、その素晴らしい結果に悪評のおかげで多くを得ています。
プロジェクト自体は、実際には4つの部分から構成されています。一つは、Hadoopの共通、他のすべてのモジュールが動作することを可能にする、いわゆるコア、第二には専用のファイルシステムです - HDFS(Hadoopの分散ファイルシステム)、第三は、HadoopのYARNスケジューリングフレームワークであり、そして最終的にはHadoopのMapReduceのシステムがあります並列コンピューティングをサポートするためます。
これらの画期的なシステムを使用して、Apacheは同様に、他の多くのサイドプロジェクトを作成するために管理しています:
- Apacheのケナフます。
- Apacheのアブロます。
- アパッチカサンドラます。
- ApacheのHBaseの
- Apacheのハイブます。
- ApacheのMahoutの
- Apacheの豚ます。
- Apacheのスパークます。
- ApacheのTEZます。
- ApacheのZooKeeperの
これらのすべての彼らのコアの一つの方法で、そのモジュールのいずれか一方を統合し、Hadoopのの強力なデータ処理エンジンまたはその分散コンピューティング機能に依存します。
このリリースの新機能:
このアーカイブストレージのサポート
残りの暗号化(ベータ版)で透過的データ
rootアクセスを必要とせずに、安全なデータノードを操作します
ホット・スワップ・ドライブ:サポートは(ベータ版)のデータ・ノードを再起動することなく、データノードのボリュームを追加/削除
より高速なワイヤ暗号化のためのAESをサポート
糸中の実行時間の長いサービスのサポート
スケジューリング中にサポートノードラベル
キャパシティスケジューラの時間ベースのリソース予約(ベータ版)のサポート
アプリケーション成果物のためのグローバル、共有キャッシュ(ベータ版)
ドッカーコンテナ(アルファ)でネイティブアプリケーションの実行をサポートしています
このバージョン2.7.1の新機能です:アーカイブストレージのための
このサポート
残りの暗号化(ベータ版)で透過的データ
rootアクセスを必要とせずに、安全なデータノードを操作します
ホット・スワップ・ドライブ:サポートは(ベータ版)のデータ・ノードを再起動することなく、データノードのボリュームを追加/削除
より高速なワイヤ暗号化のためのAESをサポート
糸中の実行時間の長いサービスのサポート
スケジューリング中にサポートノードラベル
キャパシティスケジューラの時間ベースのリソース予約(ベータ版)のサポート
アプリケーション成果物のためのグローバル、共有キャッシュ(ベータ版)
ドッカーコンテナ(アルファ)でネイティブアプリケーションの実行をサポートしています
このバージョン2.7.0の新機能です:アーカイブストレージのための
このサポート
残りの暗号化(ベータ版)で透過的データ
rootアクセスを必要とせずに、安全なデータノードを操作します
ホット・スワップ・ドライブ:サポートは(ベータ版)のデータ・ノードを再起動することなく、データノードのボリュームを追加/削除
より高速なワイヤ暗号化のためのAESをサポート
糸中の実行時間の長いサービスのサポート
スケジューリング中にサポートノードラベル
キャパシティスケジューラの時間ベースのリソース予約(ベータ版)のサポート
アプリケーション成果物のためのグローバル、共有キャッシュ(ベータ版)
ドッカーコンテナ(アルファ)でネイティブアプリケーションの実行をサポートしています
このバージョン2.6.0の新機能です:アーカイブストレージのための
このサポート
残りの暗号化(ベータ版)で透過的データ
rootアクセスを必要とせずに、安全なデータノードを操作します
ホット・スワップ・ドライブ:サポートは(ベータ版)のデータ・ノードを再起動することなく、データノードのボリュームを追加/削除
より高速なワイヤ暗号化のためのAESをサポート
糸中の実行時間の長いサービスのサポート
スケジューリング中にサポートノードラベル
キャパシティスケジューラの時間ベースのリソース予約(ベータ版)のサポート
アプリケーション成果物のためのグローバル、共有キャッシュ(ベータ版)
ドッカーコンテナ(アルファ)でネイティブアプリケーションの実行をサポートしています
このバージョン2.5.0の新機能です:
この認証改善がHTTPプロキシサーバを使用した場合。
グラファイトに直接書き込むことができ、新しいHadoopのメトリックシンク。
Hadoopの互換性のあるファイルシステムの努力のための仕様。
POSIX形式のファイルシステムのサポートが拡張属性。
WebHDFS APIを介してfsimageを閲覧するOfflineImageViewer。
NFSゲートウェイへのサポート性の改善とバグ修正。
HDFSデーモンのための近代化ウェブのUI(HTML5とJavascript)。
アプリケーションを提出し、殺害YARNのREST APIをサポート。
YARNのタイムラインストアのKerberos統合。
このバージョン2.4.0の新機能である:HDFSでのアクセス制御リストのための
このサポート
HDFSでのローリング・アップグレードのためのネイティブサポート
円滑な運用のアップグレードのためのHDFS FSImageためのプロトコルバッファの使い方
HDFSでの完全なHTTPSサポート
糸のResourceManagerの自動フェイルオーバーのサポート
アプリケーション履歴サーバとアプリケーションのタイムラインサーバとの糸に新しいアプリケーションのサポート強化
プリエンプションを介した糸CapacitySchedulerに強いのSLAのサポート
このバージョン2.3.0の新機能です:
このHDFSでの異機種ストレージ階層をサポートします。
集中管理と管理HDFSデータのためのインメモリキャッシュ。
YARN分散キャッシュにHDFSを介しMapReduceのバイナリの配布を簡素化されました。
このバージョン2.2.0の新機能:
このYARN - のMapReduceやその他の他のデータ処理フレームワークとサービスを可能にするために、Hadoopのための汎用的なリソース管理システム
HDFSの高可用性
HDFS連盟
HDFSスナップショット
HDFS内のデータへのNFSv3アクセス
このバージョン2.1.0ベータで新しい何が:
このHDFSスナップショット
Microsoft Windowsの上でのHadoopを実行するためのサポート
糸APIの安定化
このバージョン2.0.3-αで新しい何が:名前ノードのためのHDFS HAのための
このQJM
糸のためのマルチリソーススケジューリング(CPUおよびメモリ)
糸のResourceManagerを再起動します
糸のためのスケールで重要な安定性(30,000人以上のノードと1400万アプリケーションこれまで、リリース時点で)
このバージョン1.0.0の新機能です:
このセキュリティの向上。
HBaseの(/ hsynch / hflush、およびセキュリティを追加)。
(セキュリティを完全にサポートし)webhdfs。
パフォーマンスは、HBaseのためのローカルファイルへのアクセスを強化します。
その他のパフォーマンスの向上、バグ修正、および機能。
このバージョン0.20.2の新機能です:
このRPCサーバー送信バッファは、最大応答の大きさは、これまで送られ保持されます。
C ++ライブラリは、Debian Lennyの上に構築されません。
一部のC ++のスクリプトはアリ実行前にchmoddedされていません。
ストリーミング:プロセス提供されるステータスメッセージは、すべて10 seoncds上書きされます。
CombineFileInputFormatはジョブのInputFormatとして使用されてはIllegalArgumentException。
Hadoopのアーカイブ/ wの複数のバグ。
ファイルシステムのインスタンスのキャッシングはインスタンスごとに無効にすることを許可します。
Configuration.addResourceでdefaultResourcesの同期がありません。
GzipCodecはdecompressorTypeとしてBuiltInZlibInflaterを表すべきではありません。
名前ノードのHttpServerにはたInetSocketAddressをインスタンス化することはできません:IllegalArgumentExceptionがスローされます。
HttpServerには負の値で眠ります。
名前ノードが原因IPCサーバのメモリリークにメモリが不足して動作します。
IPCクライアントのバグは、RPCコールがハングアップの原因となります。
失敗したテストが実行からテスト対象の残りを防ぎます。
ContribのテストはClover'edビルドを失敗しています。
テストは0.20ブランチ上では実行されません。
TestStreamingStatusは0.20枝に失敗しています。
コメントが見つかりません