Группа библиотек: com.widowcrawler

Terminator

com.widowcrawler : terminator

Terminator is a parser for robots.txt files.

Последняя версия: 0.1.1

Дата: 18 июн. 2015 г.

Exo

com.widowcrawler : exo

Exo is a parser for sitemap.xml files.

Последняя версия: 0.1

Дата: 16 июн. 2015 г.