Scrapy proxyji: meta['proxy'], redoslijed middlewarea i rotacija
Napisao ProxyV4 inženjerski tim · Updated:
U Scrapyju se proxy postavlja po zahtjevu putem request.meta['proxy'] = 'http://user:pass@ip:port', a ugrađeni HttpProxyMiddleware (redoslijed 750) pretvara dio user:pass u zaglavlje Proxy-Authorization. Dodajte mali downloader middleware koji se pokreće prije njega, na 740, i svaki zahtjev koji vaš spider pošalje može odabrati IP iz vašeg ProxyV4 poola.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 USD
- 3+ IP-jeva1,70 USD
- 10+ IP-jeva1,60 USD
- 25+ IP-jeva1,50 USD
- 50+ IP-jeva1,40 USD
- 100+ IP-jeva1,30 USD
- 200+ IP-jeva1,20 USD
- 500+ IP-jeva1,10 USD
- 1 IP1,85 USD
- 3+ IP-jeva1,70 USD
- 10+ IP-jeva1,60 USD
- 25+ IP-jeva1,50 USD
- 50+ IP-jeva1,40 USD
- 100+ IP-jeva1,30 USD
- 200+ IP-jeva1,20 USD
- 500+ IP-jeva1,10 USD
Zašto je broj middlewarea važan
Downloader middlewarei se izvršavaju u rastućem redoslijedu pri slanju zahtjeva. HttpProxyMiddleware na 750 čita meta['proxy'], uklanja vjerodajnice iz URL-a i upisuje auth zaglavlje. Ako vaš vlastiti middleware postavi proxy nakon toga, naprimjer na 800, ugrađeni se već izvršio, vjerodajnice se nikada ne pretvore i proxy vraća 407. Registracija vašeg na 740 stavlja ga na prvo mjesto.
| Postavka | Predložena vrijednost | Efekat |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Šalje taj zahtjev kroz navedeni ProxyV4 proxy |
| Redoslijed vašeg middlewarea | 740 | Pokreće se prije HttpProxyMiddleware (750), pa su podaci za prijavu kodirani |
CONCURRENT_REQUESTS_PER_IP | 2 do 4 | Ograničava paralelne zahtjeve po odredišnoj IP adresi, što je pristojno ograničenje opterećenja svakog servera |
AUTOTHROTTLE_ENABLED | True | Omogućava Scrapyju da produži ili skrati pauze u zavisnosti od toga koliko brzo ciljni server odgovara |
Pregled middlewarea za rotaciju
- Učitajte listu proxyja iz postavki u
from_crawler()i sačuvajte je na instanci middlewarea - U
process_request(), dodijeliterequest.meta['proxy'] = random.choice(self.proxies)osim ako zahtjev već nema postavljen proxy - Kada odgovor bude
429ili503, ponovite zahtjev s drugim proxyjem iz poola umjesto onog koji je upravo odbijen - Kombinujte
DOWNLOAD_DELAY = 1.0saRANDOMIZE_DOWNLOAD_DELAY = Truekako bi razmak između zahtjeva varirao umjesto da otkucava ravnomjerno poput metronoma
Dimenzionisanje poola
Scrapy scraping može slati veliki broj zahtjeva u minuti, pa broj IP adresa određuje koliko se svaka od njih umjereno koristi. Uz ProxyV4 nema minimalne narudžbe i cijena po IP adresi opada kako količina raste, a privatni IPv4 saobraćaj se ne mjeri, tako da veliki crawl košta jednako kao i mali po pitanju protoka. Svaku IP adresu koristi isključivo jedan korisnik, pa njena reputacija odražava samo vaše prikupljanje podataka i ničije drugo. Za planiranje obima i umjerenosti crawlinga, pogledajte vodič za web scraping.
Korak po korak
- 1
Pripremite proxy URL-ove
Pretvorite vaše ProxyV4
ip:port:user:passlinije uhttp://user:pass@ip:portpomoću alata za konverziju formata proxyja i sačuvajte ih u postavkama ili datoteci. - 2
Napišite ProxyPoolMiddleware
U
middlewares.py, implementirajteprocess_request(self, request, spider)tako da postavljarequest.meta['proxy'] = random.choice(self.proxies). - 3
Registrujte ga prije ugrađenog
U
settings.py, dodajte'myproject.middlewares.ProxyPoolMiddleware': 740uDOWNLOADER_MIDDLEWARESi postaviteCONCURRENT_REQUESTS_PER_IP = 2. - 4
Potvrdite rotaciju
Dohvatite
https://proxyv4.com/api/my-ipnekoliko puta pomoćuscrapy shellili kratkog testnog spidera i provjerite mijenja li se prijavljena IP adresa kroz vaš pool.
Često postavljana pitanja
Moj proxy middleware s prioritetom 800 dobija greške 407. Zašto?
Na 800 se pokreće nakon HttpProxyMiddleware (750), pa se user:pass u vašem proxy URL-u nikada ne pretvara u zaglavlje Proxy-Authorization. Pomjerite vaš middleware ispod 750, npr. na 740.
Mogu li postaviti proxy za samo jedan zahtjev?
Da. Proslijedite meta={'proxy': 'http://user:pass@ip:port'} kada kreirate Request; ugrađeni middleware obrađuje prijavu samo za taj zahtjev.
Hoće li crawl miliona stranica dostići limit protoka?
Ne na ProxyV4 privatnim IPv4 ili statičkim ISP proxyjima; oba imaju neograničen protok. Praktično ograničenje je brzina kojom vam ciljni server dopušta crawl.
Izvori
Neograničene statičke IP adrese za Scrapy crawl
Privatni IPv4 u 7 zemalja plus statički ISP u SAD-u i Vijetnamu, od pojedinačne IP adrese do velikog poola, uz ažurne količinske cijene.
Provjerite cijene za SAD uživo