Mga proxy sa Scrapy: meta['proxy'], ayos ng middleware, at pag-rotate
Mula sa ProxyV4 Engineering Team · Updated:
Sa Scrapy, itinatakda ang proxy bawat request gamit ang request.meta['proxy'] = 'http://user:pass@ip:port', at ginagawang Proxy-Authorization header ng built-in na HttpProxyMiddleware (order 750) ang bahaging user:pass. Magdagdag ng maliit na downloader middleware na tatakbo bago ito, sa 740, at bawat request na ilalabas ng iyong spider ay makakapili ng IP mula sa iyong pool sa ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP$1.85
- 3+ na IP$1.70
- 10+ na IP$1.60
- 25+ na IP$1.50
- 50+ na IP$1.40
- 100+ na IP$1.30
- 200+ na IP$1.20
- 500+ na IP$1.10
- 1 IP$1.85
- 3+ na IP$1.70
- 10+ na IP$1.60
- 25+ na IP$1.50
- 50+ na IP$1.40
- 100+ na IP$1.30
- 200+ na IP$1.20
- 500+ na IP$1.10
Bakit mahalaga ang numero ng middleware
Tumatakbo ang mga downloader middleware sa pataas na pagkakasunod-sunod palabas. Binabasa ng HttpProxyMiddleware sa 750 ang meta['proxy'], tinatanggal ang mga credential mula sa URL, at isinusulat ang auth header. Kung itatakda ng sarili mong middleware ang proxy pagkatapos nito, halimbawa sa 800, tumakbo na ang built-in, hindi kailanman mako-convert ang mga credential, at sasagot ang proxy ng 407. Ang pagrehistro sa iyo sa 740 ang maglalagay rito nang una.
| Setting | Iminumungkahing halaga | Epekto |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Ipinapadala ang request na iyon gamit ang ibinigay na proxy sa ProxyV4 |
| Order ng iyong middleware | 740 | Tumatakbo bago ang HttpProxyMiddleware (750), kaya nae-encode ang login |
CONCURRENT_REQUESTS_PER_IP | 2 hanggang 4 | Naglilimita ng mga sabay-sabay na request bawat destinasyong IP, isang magalang na limitasyon sa dalas ng pag-access sa bawat server |
AUTOTHROTTLE_ENABLED | True | Hinahayaan ang Scrapy na magpahaba o magpaikli ng mga delay batay sa bilis ng tugon ng target |
Balangkas ng isang rotation middleware
- Basahin ang listahan ng proxy mula sa settings sa
from_crawler()at panatilihin ito sa instance ng middleware - Sa
process_request(), italaga angrequest.meta['proxy'] = random.choice(self.proxies)maliban kung mayroon na itong proxy - Kapag nagbalik ang tugon ng
429o503, i-retry ito gamit ang ibang proxy mula sa pool sa halip na ang tinanggihan lamang - Pagsamahin ang
DOWNLOAD_DELAY = 1.0atRANDOMIZE_DOWNLOAD_DELAY = Trueupang mag-iba-iba ang pagitan ng mga request sa halip na tumutunog na parang metronome
Pagtukoy sa laki ng pool
Kayang magpadala ng maraming request bawat minuto ang isang crawl sa Scrapy, kaya ang dami ng IP ang nagtatakda kung gaano kabanayad ginagamit ang bawat isa. Sa ProxyV4, walang minimum order at bumababa ang presyo bawat IP habang dumarami ang bilang, at ang trapiko ng pribadong IPv4 ay hindi sinusukat, kaya pareho lang ang gastos sa bandwidth ng malaki at maliit na crawl. Isang customer lamang ang gumagamit sa bawat IP, kaya ang reputasyon nito ay sumasalamin sa sarili mong crawl at wala nang iba. Para sa pagpaplano ng dami ng crawl at tamang gawi, tingnan ang gabay sa web scraping.
Hakbang-hakbang
- 1
Ihanda ang mga proxy URL
I-convert ang iyong mga linyang
ip:port:user:passng ProxyV4 patungonghttp://user:pass@ip:portgamit ang proxy format converter at i-store ang mga ito sa settings o sa isang file. - 2
Isulat ang ProxyPoolMiddleware
Sa
middlewares.py, ipatupad angprocess_request(self, request, spider)upang itakda nito angrequest.meta['proxy'] = random.choice(self.proxies). - 3
Irehistro ito bago ang built-in
Sa
settings.py, idagdag ang'myproject.middlewares.ProxyPoolMiddleware': 740saDOWNLOADER_MIDDLEWARESat itakda angCONCURRENT_REQUESTS_PER_IP = 2. - 4
Kumpirmahin ang pag-rotate
I-fetch ang
https://proxyv4.com/api/my-ipnang ilang ulit gamit angscrapy shello isang maikling test spider at tiyaking nagbabago ang iniulat na IP sa iyong pool.
Mga madalas itanong
Bakit nagkakaroon ng 407 error ang aking proxy middleware sa priority 800?
Sa 800, tumatakbo ito pagkatapos ng HttpProxyMiddleware (750), kaya ang user:pass sa iyong proxy URL ay hindi kailanman nagiging Proxy-Authorization header. Ilipat ang iyong middleware sa mas mababa sa 750, hal. 740.
Maaari ko bang itakda ang proxy para sa isang request lamang?
Oo. Ipasa ang meta={'proxy': 'http://user:pass@ip:port'} kapag ginawa mo ang Request; ang built-in na middleware ang mamamahala sa login para sa request na iyon lamang.
Aabot ba sa limitasyon ng bandwidth ang pag-crawl ng milyun-milyong page?
Hindi sa mga pribadong IPv4 o static ISP proxy ng ProxyV4; parehong may walang limitasyong bandwidth ang mga ito. Ang praktikal na limitasyon ay kung gaano kabilis magpa-crawl ang target.
Mga Sanggunian
Walang limitasyong static IP para sa mga Scrapy crawl
Pribadong IPv4 sa 7 bansa at static ISP sa US at Vietnam, mula sa iisang IP hanggang sa malaking pool, na may live volume pricing.
Tingnan ang live na presyo sa US