spider 0.5.1

A Web spidering library: handles robots.txt, scraping, finding more links, and doing it all over again.

Gemfile:
=

installation:
=

Versions:

0.7.0 September 08, 2025 (10 ko)
0.6.0 September 08, 2025 (10 ko)
0.5.4 June 04, 2020 (15,5 ko)
0.5.3 April 23, 2018 (15 ko)
0.5.2 April 23, 2018 (15 ko)
0.5.1 September 04, 2016 (15 ko)

Voir toutes les versions (16)

Propriétaires:

Auteurs:

John Nagro

Total de contrôle SHA 256:

=

Total de téléchargements 470 608

Pour cette version 23 774

Version publiée:
September 4, 2016 2:42pm

License:
MIT

Version de Ruby requise: >= 0

Liens:

Page d'accueil Documentation Télécharger Review changes Badge RSS Signaler un abus Reverse dependencies