crawlr 0.2.0

Crawlr is a modern Ruby web scraping framework built for respectful and efficient data extraction. Features async HTTP requests, robots.txt compliance, cookie management, proxy rotation, flexible CSS/XPath selectors, and comprehensive error handling. Designed for both simple scraping tasks and complex, large-scale data extraction projects.

Gemfile:
=

安装:
=

版本列表:

0.2.3 October 03, 2025 (31.5 KB)
0.2.2 October 01, 2025 (31.5 KB)
0.2.1 September 30, 2025 (31.0 KB)
0.2.0 September 29, 2025 (31.0 KB)
0.1.0 September 29, 2025 (30.5 KB)

Runtime 依赖 (5):

async ~> 2.32

async-http ~> 0.91.0

concurrent-ruby ~> 1.3

http-cookie ~> 1.0

nokogiri ~> 1.18

Development 依赖 (5):

rake ~> 13.0

rspec ~> 3.0

rubocop ~> 1.60

ruby-prof ~> 1.7

webmock ~> 3.25

显示所有传递性依赖

所有者:

推送者:

作者:

Aristotelis Rapai

SHA 256 校验和:

下载总量 1,011

这个版本 233

版本发布:
September 29, 2025 10:40pm

许可:
MIT

需要的 Ruby 版本: >= 3.1.0

新的版本需要开启多因素验证（MFA）: true

使用多因素验证（MFA）发布的版本: true

链接:

主页变更记录 Bug 追踪下载审查变更徽章 RSS 举报投诉反向依赖