WGet

GNU Wgetは、最も広く使われている2つのインターネットプロトコルであるHTTPとFTPを使ってWorld Wide Webからファイルを取り出す無料のネットワークユーティリティです。非対話的に動作し、ログオフ後にバックグラウンドでの作業が可能になります。

HTMLページやFTPサイトの再帰的な検索がサポートされています.Wgetを使用してアーカイブやホームページのミラーを作成したり、WWWロボットのようにWebをトラバースすることができます（Wgetは/robots.txtを理解しています）。

Wgetは、遅いまたは不安定な接続ではうまく機能し、ドキュメントが完全に取得されるまでドキュメントを取得し続けます。中断したところからファイルを再取得すると、それをサポートするサーバー（HTTPとFTPの両方）上で動作します。 FTPで検索するときに、ワイルドカードの照合とディレクトリの再帰的ミラーリングが利用できます。 HTTPとFTPの両方の取得にタイムスタンプを付けることができるため、Wgetは最後の取得からリモートファイルが変更されたかどうかを確認し、新しいバージョンがあれば自動的に取得します。

Wgetはプロキシサーバーをサポートしているため、ネットワークの負荷を軽減し、検索を高速化し、ファイアウォールの背後にアクセスすることができます。あなたがソックススタイルのゲートウェイの使用を必要とするファイアウォールの背後にいるならば、ソックスライブラリを手に入れ、ソックスをサポートするwgetをコンパイルすることができます。

ほとんどの機能は、コマンドラインオプションまたは初期化ファイル.wgetrcを使用して設定することができます。 Wgetはサイト設定のためのグローバルスタートアップファイル（デフォルトでは/ etc / wgetrc）をインストールすることができます。

必要条件：

GNU