ProxyV4

Scrapy-proxyer: meta['proxy'], middleware-rekkefølge og rotasjon

· Updated:

I Scrapy angis en proxy per forespørsel via request.meta['proxy'] = 'http://user:pass@ip:port', og den innebygde HttpProxyMiddleware (rekkefølge 750) gjør user:pass-delen om til en Proxy-Authorization-header. Legg til en liten downloader-middleware som kjører før denne, på 740, så kan hver forespørsel spideren din genererer hente en IP fra ProxyV4-poolen din.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privat IPv4 (datasenter)
🇺🇸 USA
På lager
Fra
1,10 USD / IP / måned
Kvantumsrabatter
  • 1 IP1,85 USD
  • 3+ IP-er1,70 USD
  • 10+ IP-er1,60 USD
  • 25+ IP-er1,50 USD
  • 50+ IP-er1,40 USD
  • 100+ IP-er1,30 USD
  • 200+ IP-er1,20 USD
  • 500+ IP-er1,10 USD
Kjøp USA
Privat IPv4 (datasenter)
🇬🇧 Storbritannia
På lager
Fra
1,10 USD / IP / måned
Kvantumsrabatter
  • 1 IP1,85 USD
  • 3+ IP-er1,70 USD
  • 10+ IP-er1,60 USD
  • 25+ IP-er1,50 USD
  • 50+ IP-er1,40 USD
  • 100+ IP-er1,30 USD
  • 200+ IP-er1,20 USD
  • 500+ IP-er1,10 USD
Kjøp Storbritannia

Hvorfor middleware-nummeret har betydning

Downloader-middlewares kjører i stigende rekkefølge på vei ut. HttpProxyMiddleware på 750 leser meta['proxy'], fjerner påloggingsinformasjonen fra URL-en og skriver autentiseringsheaderen. Hvis din egen middleware setter proxyen etterpå, for eksempel på 800, har den innebygde allerede kjørt, påloggingsinformasjonen blir aldri konvertert, og proxyen svarer 407. Ved å registrere din på 740 blir den kjørt først.

InnstillingForeslått verdiEffekt
request.meta['proxy']'http://user:pass@ip:port'Sender den aktuelle forespørselen gjennom den oppgitte ProxyV4-proxyen
Din middleware-rekkefølge740Kjører før HttpProxyMiddleware (750), slik at påloggingen blir kodet
CONCURRENT_REQUESTS_PER_IP2 til 4Begrenser samtidige forespørsler per destinasjons-IP, en høflig grense for hvor hardt hver tjener belastes
AUTOTHROTTLE_ENABLEDTrueLar Scrapy forlenge eller forkorte forsinkelser basert på hvor raskt målet svarer

Oversikt over en rotasjons-middleware

  • Les proxylisten fra innstillingene i from_crawler() og behold den på middleware-instansen
  • I process_request(), tildel request.meta['proxy'] = random.choice(self.proxies) med mindre forespørselen allerede har en
  • Når et svar kommer tilbake med 429 eller 503, prøv på nytt med en annen proxy fra poolen i stedet for den som akkurat ble avvist
  • Kombiner DOWNLOAD_DELAY = 1.0 med RANDOMIZE_DOWNLOAD_DELAY = True slik at oppholdet mellom forespørsler varierer i stedet for å tikke jevnt som et metronom

Dimensjonering av poolen

Et Scrapy-crawl kan sende mange forespørsler i minuttet, så antall IP-er avgjør hvor skånsomt hver enkelt brukes. Med ProxyV4 er det ingen minimumsbestilling, og prisen per IP synker når antallet øker, og privat IPv4-trafikk måles ikke, så en stor crawl koster det samme som en liten på båndbredde. Hver IP brukes kun av én kunde, så omdømmet gjenspeiler utelukkende din egen crawling og ingen andres. Se veiledningen for web scraping for planlegging av crawl-volum og hensynsfullhet.

Trinn for trinn

  1. 1

    Klargjør proxy-URL-ene

    Konverter ProxyV4-linjene dine fra ip:port:user:pass til http://user:pass@ip:port med konverteringsverktøyet for proxyformater, og lagre dem i innstillingene eller i en fil.

  2. 2

    Skriv ProxyPoolMiddleware

    I middlewares.py, implementer process_request(self, request, spider) slik at den setter request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Registrer den før den innebygde

    I settings.py, legg til 'myproject.middlewares.ProxyPoolMiddleware': 740 i DOWNLOADER_MIDDLEWARES og angi CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Bekreft rotasjon

    Hent https://proxyv4.com/api/my-ip noen ganger med scrapy shell eller en kort test-spider, og sjekk at den rapporterte IP-en endrer seg på tvers av poolen din.

Ofte stilte spørsmål

Proxy-middlewaren min med prioritet 800 får 407-feil. Hvorfor?

På 800 kjører den etter HttpProxyMiddleware (750), så user:pass i proxy-URL-en din blir aldri gjort om til en Proxy-Authorization-header. Flytt middlewaren din under 750, f.eks. 740.

Kan jeg angi proxy for kun én forespørsel?

Ja. Send med meta={'proxy': 'http://user:pass@ip:port'} når du oppretter Request; den innebygde middlewaren håndterer påloggingen kun for den forespørselen.

Vil en crawl av millioner av sider nå en båndbreddegrense?

Ikke med ProxyV4 private IPv4- eller statiske ISP-proxyer; begge har ubegrenset båndbredde. Den praktiske grensen er hvor raskt målet lar deg crawle.

Kilder

Ubegrensede statiske IP-er for Scrapy-crawling

Privat IPv4 i 7 land pluss statisk ISP i USA og Vietnam, fra én enkelt IP til en stor pool, med oppdaterte volumpriser.

Se oppdaterte priser for USA

Related articles

Proxyer etter plattform
Proxyer for web scraping: en fast pool med IP-er og ubegrenset trafikk
Web scraping-proxyer for Python, Scrapy, Playwright og Selenium: en pool med private IPv4- og statiske ISP-adresser, ubegrenset båndbredde, fast pris per IP.
Proxy-oppsett
Python requests via en autentisert proxy, trinn for trinn
Send Python-forespørsler via en autentisert HTTP(S)-proxy: bygg proxies-dict, koble til en Session, kod spesielle passord, roter en liste og sjekk IP-en.
Proxy-oppsett
Playwright-proxyautentisering, én statisk IP per kontekst
Gi hver Playwright-kontekst en egen autentisert HTTP(S)-proxy i Node.js eller Python, tilpass tidssone og locale til IP-en, og bekreft utgangsadressen.
Gratis verktøy
Konverter en proxyliste til formatet verktøyet ditt krever
Konverter proxylister i nettleseren mellom ip:port:user:pass, user:pass@ip:port, http-URL-er, SOCKS5-URI-er, JSON og FoxyProxy-filer i bulk.
Proxyer etter plattform
Proxyer for SEO-posisjonssporing: se resultatsiden en lokal søker ser
SEO-proxyer med privat IPv4 i USA, Storbritannia, Vietnam, Japan og fire andre markeder, så rangeringer, lokalpakker og annonser samsvarer med hva lokale ser.
Proxyer etter plattform
Amazon-selgerproxyer som gir hver konto en permanent adresse
Amazon-selgerproxyer for Seller Central, KDP og Merch: statisk ISP i USA eller privat IPv4 i UK/Japan per konto, leid kun til deg og beholdes ved fornyelse.
IPV4 · united states
Privat IPv4-proxypool i USA for skraping, rangeringsovervåking og annonsesjekk
Kjøp private US IPv4-proxyer: statiske datasenter-IP-er fra USA, én kunde per IP, ubegrenset båndbredde. Laget for skraping, SERP-sporing og US-annonsesjekk.
IPV4 · united kingdom
Privat IPv4-proxy i Storbritannia for markedsplasser, søk og kampanjer
Privat UK IPv4-proxy med statisk britisk datasenter-IP til én kunde, for eBay UK- og Amazon.co.uk-analyse, google.co.uk-sporing og britiske annonsekontroller.