crawlr 0.1.0

Crawlr is a modern Ruby web scraping framework built for respectful and efficient data extraction. Features async HTTP requests, robots.txt compliance, cookie management, proxy rotation, flexible CSS/XPath selectors, and comprehensive error handling. Designed for both simple scraping tasks and complex, large-scale data extraction projects.

Gemfile:
=

instalar:
=

Versiones:

0.2.3 October 03, 2025 (31,5 KB)
0.2.2 October 01, 2025 (31,5 KB)
0.2.1 September 30, 2025 (31 KB)
0.2.0 September 29, 2025 (31 KB)
0.1.0 September 29, 2025 (30,5 KB)

dependencias de Runtime (5):

async ~> 2.32

async-http ~> 0.91.0

concurrent-ruby ~> 1.3

http-cookie ~> 1.0

nokogiri ~> 1.18

dependencias de Development (5):

rake ~> 13.0

rspec ~> 3.0

rubocop ~> 1.60

ruby-prof ~> 1.7

webmock ~> 3.25

Mostrar toda la cadena de dependencias

Propietarios:

Subida por:

Autores:

Aristotelis Rapai

SHA 256 checksum:

Total de descargas 1.006

Para esta versión 175

Versión publicada:
September 29, 2025 12:09am

Licencia:
MIT

Versión de Ruby requerida: >= 3.1.0

Nuevas versiones requieren AMF: true

Versión publicada con AMF: true

Enlace:

Página Registro de cambios Seguimiento de Bugs Descarga Revisar cambios Badge RSS Reportar abusos Dependencias inversas