Spidr

スクリプトは、単一のページ、ウェブサイト、複数のドメイン、あるいはノンストップで実行することができます。
Spidrは、高速で使いやすいように設計されている

この特長：

この前のセッションからのスパイダリングキューと履歴を復元します。
カスタムユーザーエージェント文字列。
カスタムプロキシ設定。
HTTPSサポート。
次のとおりです。
タグ。
IFRAMEタグ。
フレームタグ。
クッキーは、リンクを保護しました。
HTTP 300、301、302、303と307リダイレクト。
メタリフレッシュリダイレクト。
HTTP基本認証は、リンクを保護しました。
に基づいて、ブラックリストやホワイトリストのURL：
URLスキーム。
ホスト名
ポート番号
フルリンク
URL拡張子
のためのコールバックを提供します：
すべてのページを訪問しました。
すべては、URLを訪問しました。
指定されたパターンに一致するすべての訪問したURL。
すべての送信元と送信先のリンクのURI。
訪問したことに失敗したすべてのURL。
にアクションメソッドを提供します：
スパイダリングを一時停止します。
ページの処理をスキップします。
リンクの処理をスキップします。

このリリースで新しい何が：HTTPSセッションを開始したときます。

はOpenSSL :: SSL :: SSLErrorの例外をキャッチします。