Scrapy proxy: meta['proxy'], middleware eiliškumas ir rotacija
Parengė ProxyV4 inžinierių komanda · Updated:
Scrapy sistemoje proxy nustatomas kiekvienai užklausai per request.meta['proxy'] = 'http://user:pass@ip:port', o integruotas HttpProxyMiddleware (prioritetas 750) paverčia user:pass dalį Proxy-Authorization antrašte. Pridėkite nedidelį downloader middleware, veikiantį prieš jį, prioritete 740, ir kiekviena jūsų spider generuojama užklausa galės pasirinkti IP iš jūsų ProxyV4 telkinio.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Kodėl middleware numeris yra svarbus
Siunčiant užklausas, downloader middleware komponentai vykdomi didėjančia tvarka. HttpProxyMiddleware ties 750 nuskaito meta['proxy'], pašalina prisijungimo duomenis iš URL ir įrašo autentifikavimo antraštę. Jei jūsų pačių middleware nustato proxy vėliau, pavyzdžiui, ties 800, integruotas komponentas jau bus suveikęs, prisijungimo duomenys nebus konvertuoti, o proxy grąžins 407 klaidą. Užregistravus savąjį ties 740, jis bus vykdomas pirmas.
| Nustatymas | Rekomenduojama reikšmė | Poveikis |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Nukreipia tą užklausą per nurodytą ProxyV4 proxy |
| Jūsų middleware eilės numeris | 740 | Veikia prieš HttpProxyMiddleware (750), todėl prisijungimo duomenys yra užkoduojami |
CONCURRENT_REQUESTS_PER_IP | nuo 2 iki 4 | Apriboja lygiagrečias užklausas vienam tiksliniam IP – tai mandagus apribojimas, mažinantis serverio apkrovą |
AUTOTHROTTLE_ENABLED | True | Leidžia Scrapy pailginti arba sutrumpinti delsas atsižvelgiant į tai, kaip greitai atsako tikslinis serveris |
Rotacijos middleware struktūra
- Metode
from_crawler()nuskaitykite proxy sąrašą iš nustatymų ir išsaugokite jį middleware egzemplioriuje - Metode
process_request()priskirkiterequest.meta['proxy'] = random.choice(self.proxies), nebent užklausa jau turi nurodytą proxy - Gavus atsakymą
429arba503, pakartokite užklausą su kitu proxy iš telkinio, o ne su ką tik atmestuoju - Suderinkite
DOWNLOAD_DELAY = 1.0suRANDOMIZE_DOWNLOAD_DELAY = True, kad intervalas tarp užklausų kistų, o netiksėtų kaip metronomas
Telkinio dydžio parinkimas
Scrapy nuskaitymas gali atlikti daugybę užklausų per minutę, todėl IP skaičius nulemia, kaip tausojančiai bus naudojamas kiekvienas iš jų. Naudojant ProxyV4, nėra minimalaus užsakymo, kaina už vieną IP mažėja didėjant kiekiui, o privatus IPv4 srautas nėra ribojamas, todėl pralaidumo atžvilgiu didelis duomenų rinkimas kainuoja tiek pat, kiek ir mažas. Kiekvieną IP naudoja tik vienas klientas, todėl jo reputacija atspindi tik jūsų pačių, o ne kieno nors kito atliekamą nuskaitymą. Norėdami suplanuoti nuskaitymo apimtis ir taisykles, skaitykite web scraping gidą.
Žingsnis po žingsnio
- 1
Paruoškite proxy URL adresus
Konvertuokite savo ProxyV4
ip:port:user:passeilutes įhttp://user:pass@ip:portnaudodami proxy formato keitiklį ir išsaugokite juos nustatymuose arba faile. - 2
Sukurkite ProxyPoolMiddleware
Faile
middlewares.pyrealizuokiteprocess_request(self, request, spider), kad jis nustatytųrequest.meta['proxy'] = random.choice(self.proxies). - 3
Užregistruokite prieš numatytąjį komponentą
Faile
settings.pyįtraukite'myproject.middlewares.ProxyPoolMiddleware': 740įDOWNLOADER_MIDDLEWARESir nustatykiteCONCURRENT_REQUESTS_PER_IP = 2. - 4
Patikrinkite rotaciją
Kelis kartus užklauskite
https://proxyv4.com/api/my-ipnaudodamiscrapy shellarba trumpą bandomąjį spider ir įsitikinkite, kad grąžinamas IP kinta jūsų telkinyje.
Dažnai užduodami klausimai
Mano proxy middleware su 800 prioritetu gauna 407 klaidas. Kodėl?
Esant 800, jis vykdomas po HttpProxyMiddleware (750), todėl user:pass dalis jūsų proxy URL niekada nepaverčiama į Proxy-Authorization antraštę. Perkelkite savo middleware žemiau 750, pavyzdžiui, į 740.
Ar galiu nustatyti proxy tik vienai užklausai?
Taip. Kuriant Request, perduokite meta={'proxy': 'http://user:pass@ip:port'}; integruotas middleware atliks autorizavimą tik šiai konkrečiai užklausai.
Ar nuskaitant milijonus puslapių bus pasiektas duomenų srauto limitas?
Nei su ProxyV4 privačiais IPv4, nei su statiniais ISP proxy – abu turi neribotą duomenų srautą. Praktiškai limitą nulemia tik tai, kaip greitai tikslinis serveris leidžia atlikti nuskaitymą.
Šaltiniai
Neriboti statiniai IP Scrapy nuskaitymams
Privatūs IPv4 7 šalyse ir statiniai ISP JAV bei Vietname – nuo vieno IP iki didelio telkinio su tiesiogine apimties kainodara.
Sužinokite JAV kainas