crawlr 0.1.0

Crawlr is a modern Ruby web scraping framework built for respectful and efficient data extraction. Features async HTTP requests, robots.txt compliance, cookie management, proxy rotation, flexible CSS/XPath selectors, and comprehensive error handling. Designed for both simple scraping tasks and complex, large-scale data extraction projects.

Gemfile:
=

安裝:
=

版本列表:

0.2.3 October 03, 2025 (31.5 KB)
0.2.2 October 01, 2025 (31.5 KB)
0.2.1 September 30, 2025 (31.0 KB)
0.2.0 September 29, 2025 (31.0 KB)
0.1.0 September 29, 2025 (30.5 KB)

Runtime 相依性套件 (5):

async ~> 2.32

async-http ~> 0.91.0

concurrent-ruby ~> 1.3

http-cookie ~> 1.0

nokogiri ~> 1.18

Development 相依性套件 (5):

rake ~> 13.0

rspec ~> 3.0

rubocop ~> 1.60

ruby-prof ~> 1.7

webmock ~> 3.25

Show all transitive dependencies

擁有者:

推送者:

作者:

Aristotelis Rapai

crawlr 0.1.0

Gemfile:
=

安裝:
=

版本列表:

Runtime 相依性套件 (5):

Development 相依性套件 (5):

擁有者:

推送者:

作者:

SHA 256 總和檢查碼:

總下載次數 1,001

這個版本 174

版本发布:
September 29, 2025 12:09am

授權:
MIT

Ruby 版本需求: >= 3.1.0

新版本需要 MFA: true

使用 MFA 發布的版本: true

相關連結:

crawlr 0.1.0

Gemfile: =

安裝: =

版本列表:

Runtime 相依性套件 (5):

Development 相依性套件 (5):

擁有者:

推送者:

作者:

SHA 256 總和檢查碼:

總下載次數 1,001

這個版本 174

版本发布: September 29, 2025 12:09am

授權: MIT

Ruby 版本需求: >= 3.1.0

新版本需要 MFA: true

使用 MFA 發布的版本: true

相關連結:

Gemfile:
=

安裝:
=

版本发布:
September 29, 2025 12:09am

授權:
MIT