Scrapy proxyji: meta['proxy'], redoslijed middlewarea i rotacija
Napisao inženjerski tim ProxyV4 · Updated:
U Scrapyju se proxy postavlja po pojedinačnom zahtjevu putem request.meta['proxy'] = 'http://user:pass@ip:port', a ugrađeni HttpProxyMiddleware (redoslijed 750) pretvara dio user:pass u zaglavlje Proxy-Authorization. Dodajte mali downloader middleware koji se pokreće prije njega, na 740, i svaki zahtjev koji vaš spider pošalje može odabrati IP iz vašeg ProxyV4 poola.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 USD
- 3+ IP-ova1,70 USD
- 10+ IP-ova1,60 USD
- 25+ IP-ova1,50 USD
- 50+ IP-ova1,40 USD
- 100+ IP-ova1,30 USD
- 200+ IP-ova1,20 USD
- 500+ IP-ova1,10 USD
- 1 IP1,85 USD
- 3+ IP-ova1,70 USD
- 10+ IP-ova1,60 USD
- 25+ IP-ova1,50 USD
- 50+ IP-ova1,40 USD
- 100+ IP-ova1,30 USD
- 200+ IP-ova1,20 USD
- 500+ IP-ova1,10 USD
Zašto je redni broj middlewarea važan
Downloader middlewarei se pri slanju zahtjeva izvršavaju uzlaznim redoslijedom. HttpProxyMiddleware na 750 čita meta['proxy'], uklanja vjerodajnice iz URL-a i zapisuje autorizacijsko zaglavlje. Ako vaš vlastiti middleware postavi proxy nakon toga, na primjer na 800, ugrađeni se već izvršio, vjerodajnice se nikada ne pretvore i proxy vraća odgovor 407. Registracija vašeg na 740 stavlja ga na prvo mjesto.
| Postavka | Predložena vrijednost | Učinak |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Šalje taj zahtjev kroz zadani ProxyV4 proxy |
| Redoslijed vašeg middlewarea | 740 | Pokreće se prije HttpProxyMiddleware (750), pa su podaci za prijavu kodirani |
CONCURRENT_REQUESTS_PER_IP | 2 do 4 | Ograničava paralelne zahtjeve po odredišnoj IP adresi, što je pristojna granica opterećenja pojedinog poslužitelja |
AUTOTHROTTLE_ENABLED | True | Omogućuje Scrapyju produljenje ili skraćenje odgoda ovisno o brzini odgovora ciljnog poslužitelja |
Pregled middlewarea za rotaciju
- Učitajte popis proxyja iz postavki u
from_crawler()i spremite ga na instancu middlewarea - U
process_request(), dodijeliterequest.meta['proxy'] = random.choice(self.proxies)osim ako zahtjev već ne sadrži proxy - Kada odgovor vrati
429ili503, ponovite zahtjev s drugim proxyjem iz poola umjesto onoga koji je upravo odbijen - Kombinirajte
DOWNLOAD_DELAY = 1.0sRANDOMIZE_DOWNLOAD_DELAY = Truekako bi razmak između zahtjeva varirao umjesto da otkucava poput metronoma
Određivanje veličine poola
Scrapy crawl može slati velik broj zahtjeva u minuti, pa broj IP adresa određuje koliko se umjereno svaka koristi. Uz ProxyV4 nema minimalne narudžbe, cijena po IP adresi pada s povećanjem količine, a privatni IPv4 promet se ne mjeri, pa velik crawl troši jednako kao i mali po pitanju propusnosti. Svaku IP adresu koristi isključivo jedan korisnik, pa njezina reputacija odražava samo vaše crawlanje. Za planiranje opsega i pristojnosti crawlanja, pogledajte vodič za web scraping.
Korak po korak
- 1
Pripremite proxy URL-ove
Pretvorite svoje ProxyV4 retke oblika
ip:port:user:passuhttp://user:pass@ip:portpomoću pretvarača formata proxyja i spremite ih u postavke ili datoteku. - 2
Napišite ProxyPoolMiddleware
U
middlewares.py, implementirajteprocess_request(self, request, spider)tako da postavljarequest.meta['proxy'] = random.choice(self.proxies). - 3
Registrirajte ga prije ugrađenog
U
settings.py, dodajte'myproject.middlewares.ProxyPoolMiddleware': 740uDOWNLOADER_MIDDLEWARESi postaviteCONCURRENT_REQUESTS_PER_IP = 2. - 4
Potvrdite rotaciju
Dohvatite
https://proxyv4.com/api/my-ipnekoliko puta pomoćuscrapy shellili kratkog testnog spidera i provjerite mijenja li se prijavljena IP adresa unutar vašeg poola.
Često postavljana pitanja
Moj proxy middleware na prioritetu 800 javlja pogreške 407. Zašto?
Na 800 se pokreće nakon HttpProxyMiddleware (750), pa se dio user:pass u vašem proxy URL-u nikada ne pretvara u zaglavlje Proxy-Authorization. Premjestite svoj middleware ispod 750, npr. na 740.
Mogu li postaviti proxy za samo jedan zahtjev?
Da. Proslijedite meta={'proxy': 'http://user:pass@ip:port'} prilikom stvaranja Request; ugrađeni middleware obrađuje prijavu samo za taj zahtjev.
Hoće li crawl od milijuna stranica dosegnuti ograničenje propusnosti?
Ne na ProxyV4 privatnim IPv4 ili statičkim ISP proxyjima; oba imaju neograničenu propusnost. Praktično ograničenje je brzina kojom vam ciljni poslužitelj dopušta crawlanje.
Izvori
Neograničene statičke IP adrese za Scrapy crawl
Privatni IPv4 u 7 zemalja plus statički ISP u SAD-u i Vijetnamu, od pojedinačne IP adrese do velikog poola, uz ažurne količinske cijene.
Provjerite trenutne cijene za SAD