Scrapy-välityspalvelimet: meta['proxy'], väliohjelmistojen järjestys ja kierto
Kirjoittanut ProxyV4-kehitystiimi · Updated:
Scrapyssa välityspalvelin asetetaan pyyntökohtaisesti koodilla request.meta['proxy'] = 'http://user:pass@ip:port', ja sisäänrakennettu HttpProxyMiddleware (järjestysnumero 750) muuntaa user:pass-osan Proxy-Authorization-otsakkeeksi. Kun lisäät pienen latausväliohjelmiston, joka suoritetaan ennen sitä sijalla 740, jokainen spiderisi luoma pyyntö voi valita IP-osoitteen ProxyV4-poolistasi.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 $
- 3+ IP:tä1,70 $
- 10+ IP:tä1,60 $
- 25+ IP:tä1,50 $
- 50+ IP:tä1,40 $
- 100+ IP:tä1,30 $
- 200+ IP:tä1,20 $
- 500+ IP:tä1,10 $
- 1 IP1,85 $
- 3+ IP:tä1,70 $
- 10+ IP:tä1,60 $
- 25+ IP:tä1,50 $
- 50+ IP:tä1,40 $
- 100+ IP:tä1,30 $
- 200+ IP:tä1,20 $
- 500+ IP:tä1,10 $
Miksi väliohjelmiston numerolla on merkitystä
Latauksen väliohjelmistot suoritetaan lähtevällä tiellä nousevassa järjestyksessä. Kohdassa 750 oleva HttpProxyMiddleware lukee kentän meta['proxy'], poistaa kirjautumistiedot URL-osoitteesta ja kirjoittaa todennusotsakkeen. Jos oma väliohjelmistosi asettaa välityspalvelimen vasta sen jälkeen, esimerkiksi kohdassa 800, sisäänrakennettu väliohjelmisto on jo suoritettu, kirjautumistietoja ei koskaan muunneta ja välityspalvelin vastaa 407. Rekisteröimällä omasi kohtaan 740 saat sen ajettua ensin.
| Asetus | Suositeltu arvo | Vaikutus |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Lähettää kyseisen pyynnön määritetyn ProxyV4-välityspalvelimen kautta |
| Väliohjelmistosi järjestysnumero | 740 | Suoritetaan ennen HttpProxyMiddleware (750) -komponenttia, joten kirjautumistiedot koodataan |
CONCURRENT_REQUESTS_PER_IP | 2 – 4 | Rajoittaa rinnakkaisia pyyntöjä kohde-IP:tä kohden, mikä asettaa kohteliaan rajan palvelimen kuormitukselle |
AUTOTHROTTLE_ENABLED | True | Antaa Scrapyn pidentää tai lyhentää viiveitä sen mukaan, kuinka nopeasti kohde vastaa |
Kiertoväliohjelmiston pääpiirteet
- Lue välityspalvelinluettelo asetuksista metodissa
from_crawler()ja säilytä se väliohjelmisto-instanssissa - Aseta metodissa
process_request()arvorequest.meta['proxy'] = random.choice(self.proxies), ellei pyynnöllä ole sitä jo valmiiksi - Kun vastauksena saadaan
429tai503, yritä uudelleen toisella välityspalvelimella poolista sen sijaan, että käytettäisiin juuri hylättyä - Yhdistä
DOWNLOAD_DELAY = 1.0jaRANDOMIZE_DOWNLOAD_DELAY = True, jotta pyyntöjen välinen viive vaihtelee sen sijaan, että ne toistuisivat metronomin lailla
Poolin koon mitoitus
Scrapy-haku voi tehdä runsaasti pyyntöjä minuutissa, joten IP-osoitteiden määrä ratkaisee, kuinka hellävaraisesti kutakin käytetään. ProxyV4-palvelussa ei ole vähimmäistilausta, IP-kohtainen hinta laskee määrän kasvaessa eikä yksityistä IPv4-liikennettä mitata, joten suuri haku maksaa kaistan osalta saman verran kuin pieni. Jokainen IP-osoite on varattu vain yhdelle asiakkaalle kerrallaan, joten sen maine heijastaa ainoastaan omaa hakuasi eikä kenenkään muun toimintaa. Lisätietoja hakumäärien ja kohteliaan ryhdin suunnittelusta löydät verkkokaavinnan oppaasta.
Vaihe vaiheelta
- 1
Valmistele välityspalvelimien URL-osoitteet
Muunna ProxyV4-palvelun
ip:port:user:pass-rivit muotoonhttp://user:pass@ip:portvälityspalvelimen muotomuuntimella ja tallenna ne asetuksiin tai tiedostoon. - 2
Kirjoita ProxyPoolMiddleware
Toteuta tiedostossa
middlewares.pymetodiprocess_request(self, request, spider)siten, että se asettaa arvonrequest.meta['proxy'] = random.choice(self.proxies). - 3
Rekisteröi se ennen sisäänrakennettua väliohjelmistoa
Lisää tiedostossa
settings.pyrivi'myproject.middlewares.ProxyPoolMiddleware': 740asetukseenDOWNLOADER_MIDDLEWARESja asetaCONCURRENT_REQUESTS_PER_IP = 2. - 4
Vahvista kierto
Hae osoite
https://proxyv4.com/api/my-ipmuutaman kerran komennollascrapy shelltai lyhyellä testispidereilla ja tarkista, että ilmoitettu IP vaihtuu poolisi sisällä.
Usein kysytyt kysymykset
Väliohjelmistoni prioriteetilla 800 saa 407-virheitä. Miksi?
Kohdassa 800 se suoritetaan väliohjelmiston HttpProxyMiddleware (750) jälkeen, joten välityspalvelimesi URL-osoitteen user:pass-osaa ei koskaan muunneta Proxy-Authorization-otsakkeeksi. Siirrä väliohjelmistosi luvun 750 alapuolelle, esimerkiksi kohtaan 740.
Voinko asettaa välityspalvelimen vain yhdelle pyynnölle?
Kyllä. Välitä meta={'proxy': 'http://user:pass@ip:port'}, kun luot Request-olion; sisäänrakennettu väliohjelmisto hoitaa kirjautumisen vain kyseiselle pyynnölle.
Tuleeko miljoonien sivujen haussa kaistarajoitus vastaan?
Ei ProxyV4-palvelun yksityisillä IPv4- tai staattisilla ISP-välityspalvelimilla; molemmissa on rajoittamaton kaista. Käytännön rajana on vain se, kuinka nopeasti kohde sallii sinun hakea sivuja.
Lähteet
Mittaamattomat staattiset IP:t Scrapy-hakuihin
Yksityiset IPv4-osoitteet 7 maassa sekä staattiset ISP-osoitteet Yhdysvalloissa ja Vietnamissa, yksittäisestä IP:stä suureen pooliin reaaliaikaisella määrähinnoittelulla.
Tarkista Yhdysvaltain reaaliaikaiset hinnat