ProxyV4

Scrapy-välityspalvelimet: meta['proxy'], väliohjelmistojen järjestys ja kierto

· Updated:

Scrapyssa välityspalvelin asetetaan pyyntökohtaisesti koodilla request.meta['proxy'] = 'http://user:pass@ip:port', ja sisäänrakennettu HttpProxyMiddleware (järjestysnumero 750) muuntaa user:pass-osan Proxy-Authorization-otsakkeeksi. Kun lisäät pienen latausväliohjelmiston, joka suoritetaan ennen sitä sijalla 740, jokainen spiderisi luoma pyyntö voi valita IP-osoitteen ProxyV4-poolistasi.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Yksityinen IPv4 (konesali)
🇺🇸 Yhdysvallat
Varastossa
Alkaen
1,10 $ / IP / kk
Määräalennukset
  • 1 IP1,85 $
  • 3+ IP:tä1,70 $
  • 10+ IP:tä1,60 $
  • 25+ IP:tä1,50 $
  • 50+ IP:tä1,40 $
  • 100+ IP:tä1,30 $
  • 200+ IP:tä1,20 $
  • 500+ IP:tä1,10 $
Osta Yhdysvallat
Yksityinen IPv4 (konesali)
🇬🇧 Yhdistynyt kuningaskunta
Varastossa
Alkaen
1,10 $ / IP / kk
Määräalennukset
  • 1 IP1,85 $
  • 3+ IP:tä1,70 $
  • 10+ IP:tä1,60 $
  • 25+ IP:tä1,50 $
  • 50+ IP:tä1,40 $
  • 100+ IP:tä1,30 $
  • 200+ IP:tä1,20 $
  • 500+ IP:tä1,10 $
Osta Yhdistynyt kuningaskunta

Miksi väliohjelmiston numerolla on merkitystä

Latauksen väliohjelmistot suoritetaan lähtevällä tiellä nousevassa järjestyksessä. Kohdassa 750 oleva HttpProxyMiddleware lukee kentän meta['proxy'], poistaa kirjautumistiedot URL-osoitteesta ja kirjoittaa todennusotsakkeen. Jos oma väliohjelmistosi asettaa välityspalvelimen vasta sen jälkeen, esimerkiksi kohdassa 800, sisäänrakennettu väliohjelmisto on jo suoritettu, kirjautumistietoja ei koskaan muunneta ja välityspalvelin vastaa 407. Rekisteröimällä omasi kohtaan 740 saat sen ajettua ensin.

AsetusSuositeltu arvoVaikutus
request.meta['proxy']'http://user:pass@ip:port'Lähettää kyseisen pyynnön määritetyn ProxyV4-välityspalvelimen kautta
Väliohjelmistosi järjestysnumero740Suoritetaan ennen HttpProxyMiddleware (750) -komponenttia, joten kirjautumistiedot koodataan
CONCURRENT_REQUESTS_PER_IP2 – 4Rajoittaa rinnakkaisia pyyntöjä kohde-IP:tä kohden, mikä asettaa kohteliaan rajan palvelimen kuormitukselle
AUTOTHROTTLE_ENABLEDTrueAntaa Scrapyn pidentää tai lyhentää viiveitä sen mukaan, kuinka nopeasti kohde vastaa

Kiertoväliohjelmiston pääpiirteet

  • Lue välityspalvelinluettelo asetuksista metodissa from_crawler() ja säilytä se väliohjelmisto-instanssissa
  • Aseta metodissa process_request() arvo request.meta['proxy'] = random.choice(self.proxies), ellei pyynnöllä ole sitä jo valmiiksi
  • Kun vastauksena saadaan 429 tai 503, yritä uudelleen toisella välityspalvelimella poolista sen sijaan, että käytettäisiin juuri hylättyä
  • Yhdistä DOWNLOAD_DELAY = 1.0 ja RANDOMIZE_DOWNLOAD_DELAY = True, jotta pyyntöjen välinen viive vaihtelee sen sijaan, että ne toistuisivat metronomin lailla

Poolin koon mitoitus

Scrapy-haku voi tehdä runsaasti pyyntöjä minuutissa, joten IP-osoitteiden määrä ratkaisee, kuinka hellävaraisesti kutakin käytetään. ProxyV4-palvelussa ei ole vähimmäistilausta, IP-kohtainen hinta laskee määrän kasvaessa eikä yksityistä IPv4-liikennettä mitata, joten suuri haku maksaa kaistan osalta saman verran kuin pieni. Jokainen IP-osoite on varattu vain yhdelle asiakkaalle kerrallaan, joten sen maine heijastaa ainoastaan omaa hakuasi eikä kenenkään muun toimintaa. Lisätietoja hakumäärien ja kohteliaan ryhdin suunnittelusta löydät verkkokaavinnan oppaasta.

Vaihe vaiheelta

  1. 1

    Valmistele välityspalvelimien URL-osoitteet

    Muunna ProxyV4-palvelun ip:port:user:pass-rivit muotoon http://user:pass@ip:port välityspalvelimen muotomuuntimella ja tallenna ne asetuksiin tai tiedostoon.

  2. 2

    Kirjoita ProxyPoolMiddleware

    Toteuta tiedostossa middlewares.py metodi process_request(self, request, spider) siten, että se asettaa arvon request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Rekisteröi se ennen sisäänrakennettua väliohjelmistoa

    Lisää tiedostossa settings.py rivi 'myproject.middlewares.ProxyPoolMiddleware': 740 asetukseen DOWNLOADER_MIDDLEWARES ja aseta CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Vahvista kierto

    Hae osoite https://proxyv4.com/api/my-ip muutaman kerran komennolla scrapy shell tai lyhyellä testispidereilla ja tarkista, että ilmoitettu IP vaihtuu poolisi sisällä.

Usein kysytyt kysymykset

Väliohjelmistoni prioriteetilla 800 saa 407-virheitä. Miksi?

Kohdassa 800 se suoritetaan väliohjelmiston HttpProxyMiddleware (750) jälkeen, joten välityspalvelimesi URL-osoitteen user:pass-osaa ei koskaan muunneta Proxy-Authorization-otsakkeeksi. Siirrä väliohjelmistosi luvun 750 alapuolelle, esimerkiksi kohtaan 740.

Voinko asettaa välityspalvelimen vain yhdelle pyynnölle?

Kyllä. Välitä meta={'proxy': 'http://user:pass@ip:port'}, kun luot Request-olion; sisäänrakennettu väliohjelmisto hoitaa kirjautumisen vain kyseiselle pyynnölle.

Tuleeko miljoonien sivujen haussa kaistarajoitus vastaan?

Ei ProxyV4-palvelun yksityisillä IPv4- tai staattisilla ISP-välityspalvelimilla; molemmissa on rajoittamaton kaista. Käytännön rajana on vain se, kuinka nopeasti kohde sallii sinun hakea sivuja.

Lähteet

Mittaamattomat staattiset IP:t Scrapy-hakuihin

Yksityiset IPv4-osoitteet 7 maassa sekä staattiset ISP-osoitteet Yhdysvalloissa ja Vietnamissa, yksittäisestä IP:stä suureen pooliin reaaliaikaisella määrähinnoittelulla.

Tarkista Yhdysvaltain reaaliaikaiset hinnat

Related articles

Proxyt alustoittain
Proxyt web scrapingiin: kiinteä IP-pooli rajoittamattomalla liikenteellä
Web scraping -proxyt Pythonille, Scrapylle, Playwrightille ja Seleniumille: yksityisiä IPv4- ja staattisia ISP-osoitteita, rajaton kaista, kiinteä IP-hinta.
Proxyn käyttöönotto
Python requests todennetun välityspalvelimen kautta vaiheittain
Lähetä Python-pyyntöjä todennetun HTTP(S)-proxyn kautta: luo proxies-dict, liitä se Session-olioon, koodaa erikoiset salasanat, kierrätä listaa ja tarkista IP.
Proxyn käyttöönotto
Playwright-välityspalvelimen todennus, yksi staattinen IP per konteksti
Anna Playwright-selainkonteksteille oma todennettu HTTP(S)-välityspalvelin Node.js:ssä tai Pythonissa, sovita aikavyöhyke ja lokaali sekä vahvista lähtöosoite.
Ilmaiset työkalut
Muunna proxylista työkalusi vaatimaan muotoon
Muunna proxylistoja selaimessasi massana: ip:port:user:pass, user:pass@ip:port, http://-URL-osoitteet, SOCKS5-URIt, JSON-taulukot ja FoxyProxy-tuontitiedostot.
Proxyt alustoittain
Välityspalvelimet SEO-sijoitusseurantaan: näe paikallisen hakijan tulossivu
SEO-välityspalvelimet ja oma IPv4 USA:ssa, UK:ssa, Vietnamissa, Japanissa ja 4 muussa maassa. Näe sijoitukset, paikallispaketit ja mainokset kuten paikalliset.
Proxyt alustoittain
Amazon-myyjäproxyt, jotka antavat jokaiselle tilille pysyvän osoitteen
Amazon-myyjäproxyt Seller Centraliin, KDP:hen ja Merchiin: staattinen USA-ISP tai UK:n/Japanin yksityinen IPv4 tiliä kohden vain sinulle, säilyy uusittaessa.
IPV4 · united states
Yksityinen Yhdysvaltain IPv4-välityspalvelinpooli tiedonkeruuseen, sijoitusseurantaan ja mainosten tarkistukseen
Osta yksityiset USA IPv4 -proxyt: staattiset konesali-IP:t, yksi asiakas per IP, rajaton kaista. Tehty tiedonkeruuseen, SERP-seurantaan ja mainostarkistuksiin.
IPV4 · united kingdom
Yksityinen Ison-Britannian IPv4-välityspalvelin markkinapaikoille, hakuun ja kampanjoihin
Yksityinen UK IPv4 -proxy yhdelle käyttäjälle: staattinen konesali-IP eBay UK- ja Amazon.co.uk -tutkimukseen, google.co.uk-seurantaan ja UK-mainostarkistuksiin.