reppy 0.1.0
reppyが発生し、他のrobots.txtパーサーでメモ化のサポートの欠如、および組み込みrobotparserでクロール遅延やサイトマップのサポート不足から始まりました。マッチングこのパッケージは1996、RFC、ならびにワイルドカードマッチング、クロール·ディレイ、サイトマップなどの追加一般的に実装された機能をサポートしています。許可と許可しないマッチングを変える方法があります。一つのアプローチは、最長一致を使用することです。もう一つは、最も具体的なを使用することです。これに関連して定義することはほと...
