Methabot

Methabotソフトウェアは、速度が最適化され、スクリプト化と高度な設定がウェブ、FTPおよびローカルファイル·システム·クローラーです。これは、スクリプトファイルタイプの解析、カスタマイズオプションを幅広くサポートしており、簡単にanyones特定のニーズに適合するように構成されています。
モジュールシステムやスクリプト言語を使用すると、ユーザーはクロール·プロセスの完全または部分的に制御し、Webデータ、統計、はるかに多くの情報を保存する必要がありますしかしMethabotを決定することができます。
！ただ、コマンドラインからMethabotあなたがスクリプト作成する必要はありませんので、あなたは、できる構成カスタムファイルタイプ、フィルタリング式、行動、および大いに多くである

この機能を実行します。

それは、高速で地面から設計されており、心の中でスピード最適化を任されています。
E4XではJavaScriptを通じてスクリプト
ユーザー定義のファイルタイプフィルタリング（MIMEタイプ、ファイルの拡張子やUMEX式に従って）
マルチスレッド
コマンドラインからの高度な設定が可能
拡張可能なモジュールシステム、カスタムデータパーサおよびフィルタをサポートしています。
UMEXリンク先URLのシンプルで強力なフィルタリング。
自動ダウンロード
自動Cookie処理をサポートし、HTTP上で実行されています
信頼性の高い、フォールトトレラント·ネットワーキング
ポータブル、32ビット/ 64ビットLinux 2.6、32ビット/ 64ビットのFreeBSDの6.x / 7.0の成功でテストはWindows XPとMac OS Xのは、ほとんどすべてのUnixライクなOSをで動作するはずです。

このリリースの新機能：

このバグ修正、外部PEEKは、深さ制限が台無しにして使用した場合。
メモリ使用量のクリーンアップの修正
それが大幅にクロールが遅くなるので、ダイナミックurlオプションはもはや、デフォルトで検索するために設定されていません
ビルドシステムが作成され、リンク時にモジュールが使用できるいくつかのヘッダファイルをインストールします
メタ-config設定ツールが追加されました
lmm_mysqlはこのパッケージの外に移動しました

このバージョン1.5.0の新機能：

この変更点と新機能：
標準入力からintialバッファを読み取るためのサポート
--typeと--base-URLのコマンドラインオプションは、構成ファイル内のinitial_filetypeオプションと一緒に、追加されました
マルチスレッドの実行時にクッキーとDNS情報が正しく労働者の間で共有されています
--examplesにいくつかの使用例のコマンドを追加しました
スレッド間通信に大きな改善は、今より速く、より組織化
スクリプトに「initの「機能のサポートが追加されました。 http://bithack.se/projects/methabot/docs/e4x/init_functions.htmlでのinit関数の詳細を読みます
もう複数の同時HTTP HEADリクエストを行うときにlibmethaは凍結しません。フリーズの原因が修正されましたlibcurlののバグでした。いくつかの回避策がaswell欠陥libcurlのバージョンを使用する場合に起きてから凍結を防止するために、libmethaに追加されました。
古いlibcurlのバージョン7.17.xや7.16.xのサポート
新しい情報が＆QUOTで利用可能であり、この＆QUOT; JavaScriptのパーサ、コンテンツタイプと転送ステータスコードのオブジェクト。 http://bithack.se/projects/methabot/docs/e4x/this.htmlで続きを読みます
冗長モードでは、デフォルトであるため、--verboseオプションは、--silentと交換します
FTPクロールとftp_dir_urlクローラーオプションの初期サポート
深さ制限は現在、クローラに固有であります
--crawlerと--filetypeコマンドラインオプションを追加しました
すでに定義されているクローラとファイルタイプを拡張し、オーバーライドをサポート
構成ファイル内のコピーのキーワードのサポート
動的アクティブクローラを切り替えるためのサポート、これを使用すると、1つのクロールセッションで全く異なる方法で、異なるWebサイトをクロールすることができます。 http://bithack.se/projects/methabot/docs/crawler_switching.htmlでクローラの切り替えについての詳細を読みます
libevバージョン3.51へのアップグレード
構成ファイル内のincludeディレクティブは、現在含まれる構成ファイルが既にロードされていない含んでループし、複数のファイルタイプ/クローラ定義を防ぐために、確認します。
様々なSpiderMonkeyのガーベジコレクションの修正、マルチスレッド·セッション後のクリーンアップ時にlibmethaはもうクラッシュしません
--infoオプションにいくつかの余分な情報を追加しました
「外部」オプションは修正して再度有効になっています
新しいオプション--spread研究者
新しいlibmetha API関数lmetha_global_setopt（）グローバルエラー/メッセージ/警告レポーターを変更することができます
開発者向けのテストスイートの追加された最初の実装
設定ファイルをロードするときに、より良いエラー報告
HTTPサーバーがHEADリクエストの後のContent-Typeヘッダを返しませんでしたバグ修正
バグ修正複数のHTTP HEADリクエストの後にURLをソート
XMLへの変換、HTMLのバグ修正HTMLページが＆LTを持っていませんでした。 HTML＆GT;タグ
バグ修正、extless-urlオプションは機能しませんでした
バグ修正は、XMLコンバータにHTMLは、もはや実際のHTMLの前にバイトオーダーマークまたはその他のテキストにチョークありません
バグ修正は、サポートされていないプロトコルのURLをアクセスしようとするからlibmethaを防止しました
バグ修正エラーの後、シャットダウン。
バグ修正、解決不能のURLは3回再試行した後に再試行ループを抜け出すませんでした
Win32のための非常に実験的で不安定なサポートは、主に開発者を対象とし
新しいコンフィギュレーションファイル：
google.confは、Google検索を実行します
youtube.conf、YouTubeの検索
meta.confは、このようなHTMLページに関するキーワードや説明などのメタ情報を印刷します
title.confは、HTMLページのタイトルを印刷します
FTPサーバーをクロールするためのftp.conf、

このバージョン1.4.1の新機能です：

この設定これを修正する必要があり、いくつかのシステムでjsapi.h見つけることができませんでした。
設定ファイルは今クローラとファイルタイプフラグを変更することができ、オプション「外部」と「external_peek」を追加
複数のHTTP HEADの後に空のURLを掃除する際にバグ修正、Methabotは時々クラッシュしていました
同期の実行時に発生したクラッシュを修正しました。
システムを構築jsconfig.hが見つかりませんでしたときに修正が含まれています。

この要件：

このSpiderMonkeyのヘッダー
cURLの