トップ 検索エンジン＆リンクインデックス作成スクリプト のために Uwe Hunfeld

サーチ·クローラー（スパイダー）は、さまざまな情報については、その鉱山のWebページを書面で使用することができます。PHPCrawlは、それがフェッチするように設定された情報を取得し、さらに処理するために、より強力なアプリケーションに渡します。 の特長の：ます。 フィルタ用URLおよびContent-Typeのデータクッキーを処理する方法を定義します。のrobots.txtファイルを処理する方法を定義します。はさまざまな方法でその活性を制限します。マルチ処理モードます。 のこのリリースのの新機能：...