ソフトウェアのスクリーンショット:
ソフトウェアの詳細:
この無料のActiveXスパイダーコンポーネントを使用してWebサイトをクロールします。高度な機能は、「回避」パターン、robots.txtのコンプライアンスのキャッシュが含まれています。自動的にHTTPS URLを処理します。大/無限のサイズのWebページや無限に成長・イン・長URLを回避するための安全対策が含まれています。サイトごとのページの最大数をクロールするための風ダウン機能を備えています。
コメントが見つかりません