Pcompress

Pcompressはチャンクに入力されたデータを分割して、オープンソースのコマンドライン並列圧縮、解凍と重複排除ユーティリティです。
Pcompressはデルタ圧縮、固定ブロックオプション、メタデータ圧縮、LZMAを含む複数のアルゴリズムをサポート、LZMA - マルチスレッド、PPMD、Bzip2でまたはLZ4、強力なデータの整合性、フィルター、マトリックス変換、暗号化、メッセージ認証、メタデータ、処理が重複し、カスタムを提供していますアロケータ、固体モード、パディング、および大いに多く

の何が新しいの今回のリリースで：ます。

• これはメジャーリリースですlibarchiveをに基づいてアーカイブサポートをフィーチャー。高度な技術は、ファイルの種類を検出し、より良い圧縮するために適切なアルゴリズムを使用するために使用される。実行ファイルのJPEGファイルとDispackためPackJPGのようなフィルタは、圧縮性を改善するために使用される。いくつかの経験則は、すでに圧縮されたデータを検出し、高価な圧縮ステップを回避するのに役立つ。アーカイブエントリも、関連コンテンツをクラスタ化し、より良い圧縮を実現するためにソートされている。複数の並列スレッドのデータ分割境界は、ファイルタイプ及びローリングハッシュの変化から決定される。パフォーマンスを向上させるために可能な限りのmmapとのゼロコピーの技術が内部的に使用されている。いくつかの最適化はまた、メモリの使用量を減らすために行われてきた。使用方法は、自動的に圧縮レベルに基づいて設定され、ほとんどの機能が簡素化されています。

Pcompressはtarやcpioのような、本格的なアーカイバとして機能し、より良い圧縮比と単一ファイル圧縮モードよりも優れた性能を提供することができるこれらの変更により、
• 。 Pcompressは、他の主要なアーカイバユーティリティで非常に好意的に比較します。

の の新機能バージョン2.4で：

• このバージョンでは、いくつかのコーナーケースがクラッシュを含むいくつかの問題が、修正し、バッファオーバーフローのカップルします。
• データ重複排除機能は、現在、事実上、他の重複排除ソフトウェアよりもはるかに高い重複排除率を提供する、2キロバイトと小さいブロックを使用して行うことができます。
• 類似性に基づく重複排除のパフォーマンスが改善されています。
• 空きメモリ検出精度も改善されています。

のは何バージョン2.3での新しい：

• このバージョンでは、いくつかのバグを修正し、効率のいくつかの改善を提供していますとパフォーマンスします。
• の類似性の類似検出有効性は近正確なベースの重複排除機能が改善されました。

インデックスの同じ時間のメモリ要件では
• は減少しました。
• は、スレッド間のデータ·パーティショニングの精度が改善されています。
• チャンキングとインデックスのパフォーマンスが改善されているとKMVスケッチ計算は今より正確でます。
• このリリースには、将来のリリースで導入されるAPIインタフェースの準備のために共有ライブラリにすべてのコア機能を移動します。

のバージョン2.2での新機能：

• これは主にバグ修正リリースです。
。
• これは、無効な入力でいくつかのクラッシュを修正し、Debian6古い非SSE4プロセッサ上の問題を構築します。
• デルタエンコーディング分間、ヒープベースの類似性のマッチングが改善され、より速く、より正確に行われているます。
• スケーラブルセグメント化·グローバル重複除外の精度がさらに95パーセント以上であることが改善されています。
• はもっとテストケースが追加されています。

の何がバージョン2.1のの新しいです。

• このバージョンでは、多くのバグ修正とパフォーマンスの改善が追加されます。
  グローバル重複排除で重複を見つけることに
• 精度が改善されています。
• SHA256は、チャンク検証ハッシュとは別に、それを変更する機能を、今重複排除のためのデフォルトのブロックハッシュアルゴリズムでます。
• は全体的に、多くのパフォーマンスの向上は、より良い並列処理を、より多くのSSEベクトル化を行われている、と速くソートや小さいI / Oと少ないランダムアクセスで、その結果、セグメントハッシュリストファイルの処理を改善します。
• 計算のバグインメモリインデックスサイズは、無料のRAMをオーバーフローし、ディスクへのスワッピングを避けるために修正されています。