S3QL

S3QLはAmazon S3のと同様に、任意のSFTPサーバーをサポートし、効果的にインターネットにアクセスできる任意のコンピュータからアクセスすることができる動的な、無限の容量のハードディスクを提供します。
S3QLは任意のローカルファイルシステムから概念的に区別がつかない標準、フル機能のUNIXファイルシステムを提供している。さらに、S3QLは、圧縮、暗号化、データ重複除外、オンラインバックアップおよびアーカイブのために、それが特に適したものにする不変の木々やスナップショットなどの追加機能を備えています。
S3QLは、パフォーマンスと機能クリープオーバーシンプルさと優雅さを優先するように設計されています。ケアは、可能な限り、ソースコードが読み取り可能にし、修理するためにとられている。ソリッドエラー検出とエラー処理は非常に最初の行から含まれている、とS3QLはそのすべてのコンポーネントに対して大規模な自動化されたテストケースが付属しています。
ファイルシステムがマウントされる前に、データを保持するバックエンドが初期化されなければならない。これは、mkfs.s3qlコマンドを使用して行われます。ここでは、Amazon S3のバックエンドを使用していて、nikratio-S3QLバケットは、ファイルシステムが格納されるS3バケットです。
mkfs.s3ql S3：// nikratio-S3QLバケット
ディレクトリを/ mnt / S3QLでS3バケットnikratio_s3ql_bucketに格納S3QLファイルシステムをマウントするには、次のように入力します
mount.s3ql S3：// nikratio-S3QL-バケットを/ mnt / S3QL
これで、ディレクトリを/ mnt / S3QLにバックアップを実行するには、お気に入りのバックアッププログラムを指示することができ、データはAmazon S3に格納されます。完了したら、ファイルシステムはでアンマウントする必要があります
umount.s3qlを/ mnt / S3QL

の特長の

• 透明度。概念的には、S3QLは、ローカルファイルシステムと区別できない。たとえば、2 TBまでのサイズハードリンク、シンボリックリンク、フルUNIXのパーミッション、拡張属性とファイルをサポートしています。
• ダイナミックサイズ。 S3QLファイルシステムのサイズが大きくなり、必要に応じて動的に縮小します。
• 圧縮。ストレージの前に、すべてのデータは、LZMA、BZIP2またはLZアルゴリズムで圧縮されてます。
• 暗号化。圧縮後（ただし、アップロードの前に）、すべてのデータがAESは、256ビットの鍵で暗号化することができる。追加のSHA256 HMACチェックサムが操作からデータを保護するために使用されます。
• データ重複除外。いくつかのファイルが同じ内容を持っている場合、冗長データは一度だけ保存されます。これは、ファイルシステムに格納されているすべてのファイルで動作し、他の部分が異なっている間も、ファイルの一部だけが同一である場合ます。
• 不変の木。その内容は、もはやいかなる方法で変更することができないように、ディレクトリツリーは、不変とすることができる。これは、それらが行われた後、バックアップを変更することができないことを保証するために使用することができます。
• コピー·オン·ライト/スナップショットの。 S3QLは、追加のストレージ·スペースを使用せずに、ディレクトリツリー全体を複製することができます。コピーの1つが変更された場合にのみ、変更されているデータの一部は、追加の記憶スペースを取るであろう。これは、スペースの最小量を使用して、異なる時点でのディレクトリの状態を保存インテリジェントスナップショットを作成するために使用することができます。
• ネットワーク遅延の高性能独立した。彼らは、任意のネットワークトランザクションなしで実施されているため、非常に高速です（ディレクトリを作成したり、移動、名前の変更、およびファイルとディレクトリのパーミッションを変更するような）ファイルの内容を書いたり、読んでいないすべての操作がします。
• S3QLは、データベース内のファイル全体とディレクトリ構造を保存することでこれを実現します。このデータベースは、ローカルにキャッシュされ、リモートコピーは非同期で更新されます。
• 低帯域幅接続のサポート。 S3QLは、局所的に小さなブロックとキャッシュブロックにファイルの内容を分割します。これは、データを読み書きするために必要なネットワーク·トランザクションの数、およびファイルの一部だけが読み出しまたは書き込みされたときに転送されなければならないデータの量の両方を最小にします。

の新機能の今回のリリースで：

• 最新リビジョンに既にあるファイルシステムをアッ​​プグレードしようとすると、もはやローカルメタデータが使用できなくコピーレンダリングします。

ドットを含む
• Googleのストレージバケット名は、もはやSSL証明書の検証で問題が発生しないします。

<李は>はstatvfs（）は、ほぼ空のファイル·システム上で呼び出されたクラッシュを修正します。
swiftks＆QUOT;新しい＆QUOTは
• があります。 OpenStackは/スウィフトのサーバーのバックエンドます。

<李は>＆QUOTでクラッシュmount.s3qlにつながる可能性が競合状態を解消、コレクションにはKeyError / abc.py＆QUOT;ます。
• オブジェクトのアップロード時に接続またはサーバーエラーを受信した後にクリーンアップしようとしたときに発生する可能性のクラッシュを修正します。

のバージョン2.2での新機能：

• S3QLはデフォルトでSSL接続を使用し、サーバ証明書を検証します。
• に固定したリモートメタデータの見かけの失われた競合条件ます。

可能な場合は
• S3のバックエンドは現在、待ち時間、トラフィック、およびS3への要求の数を減らす、1要求を使用して複数のストレージ·オブジェクトを削除します。
• はS3QLこれで、サーバーに送信されたすべてのデータの前にサーバのエラーやリダイレクトを検出することができるます。

ストレージURLでオブジェクト記憶領域を指定できます。
• 新しい「Rackspaceの「バックエンドが追加されました。
• mount.s3ql --compressオプションは圧縮レベルを指定できます。

のバージョン1.15のの新機能：今ローカルバックエンドを使用して多くを取るとき、メタデータのバックアップの

• サイクリング少ない時間ます。
• それはもはやS3QLとPython APSWが同じSQLiteの共有ライブラリにリンクされることを必要としない。
• はmount.s3qlでは、--metadataアップロード間隔0を使用してクラッシュが修正されました。
• の代わりに完全にファイルシステムをアンマウント（とアクセスできないマウントポイントを残して）バックエンドデータが存在しないか破損しているときの、S3QLは現在読み取り専用にするための操作を誤りとスイッチを返します。

の何がバージョン1.13のの新しいです。

• このバージョンでは、不正な形式のメタデータが書き込まれる原因となったバグを修正うち最近のeglibcバージョンを使用しているときます。

最近s3qlrmで削除されたファイルシステムのルートにディレクトリにアクセスしようとすると、
• これは、問題が修正されます。
• 表向きのACLサポートは削除されました。
• 無効なDNS名を持つこのリリースよりよいハンドルバケットます。

DNSが使用できない場合は、
• これは、再試行します。

S3バックエンドを使用する場合は、このバージョンはクラッシュが修正されています。

のバージョン1.11.1のの新機能である（リリース1.11で導入された回帰）は、1 TBに最小に報告ファイルシステムのサイズが大きくなり、サイズが適切に報告されるように、DFのバグを回避します。

のあるどのバージョン1.11のの新しい：

• に格納されたオブジェクトに関するメタデータは、現在複数のフィールドに分割されているので、ないフィールドが256バイトよりはありません。 （これは、ストレージ·プロバイダーのより広い範囲にS3QL互換性が高まります。）は、リモートサーバーからの5xxエラーコードを受信しない、もはや期限切れの認証トークンでデータをアップロードしようとしたときに失敗した場合にSWIFTバックエンドは今再試行します。

のバージョン1.10のの新機能：

• S3S、s3cs、およびGSSバックエンドは削除されました。代わりにS3、S3C、およびGSバックエンドと一緒に新しい--sslオプションを使用します。
• S3QLは、もはや別のバックエンドのための一貫性の保証を追跡しません。
• 異なるストレージ異なる領域を提供するプロバイダー、冗長性、および可用性レベルが増えて、これはもはや実現可能なものではありませんします。

損失を避けるための重要なルールデータ＆QUOT;
• ユーザガイドは、新しいセクション、＆QUOTが含まれています。
• それを読むことを強くお勧めします。

このバージョンでは、システムを変更したとき、もはやファイルの時刻が変更されていないになります。

のバージョン1.9にの新機能であるあまりにも多くの連鎖リダイレクト＆QUOT、時間帯、修正とのcontrib / benchmark.pを向上させるには、＆QUOTを修正。バグは、5xxのサーバーエラーで再試行、およびOpenStackの/ SWIFTサーバや実験的なプロキシサポートのための実験的なネイティブサポートが追加されています。

のバージョン1.8のの新機能は次のとおりです。

• A＆QUOT、送出：NULL値＆QUOTをダンプすることはできません。ファイルシステムのメタデータは、重いファイルシステムの動作中にアップロードされたクラッシュが修正されました。
• s3qlcpと非常に大きなディレクトリのパフォーマンスをディレクトリ一覧が改善したします。
• RMのパフォーマンスの低下を修正しました。
• - 。ブロックサイズは--max-OBJ-サイズをするために改名された。
• 重く同時ファイルシステムの使用状況の下で起こったいくつかのクラッシュが修正されました。
• のpython-llfuse 0.37が使用されるようになりました。

の制限事項の

• があり、バグの多くは、コードに残っているとあなたが対処する準備が整いましたそれら。それにもかかわらず、あなたはバグが（不便ではあるが）あなたの保存されたデータを危険にさらすしないことを合理的に確信することができます。