ProxyV4

Scrapy-proxyer: meta['proxy'], middleware-rækkefølge og rotation

· Updated:

I Scrapy indstilles en proxy pr. anmodning via request.meta['proxy'] = 'http://user:pass@ip:port', og den indbyggede HttpProxyMiddleware (rækkefølge 750) omdanner user:pass-delen til en Proxy-Authorization-header. Tilføj en lille downloader-middleware, der kører før denne, på 740, og hver anmodning din spider genererer, kan vælge en IP fra din ProxyV4-pulje.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privat IPv4 (datacenter)
🇺🇸 USA
På lager
Fra
1,10 US$ / IP / måned
Mængderabatter
  • 1 IP1,85 US$
  • 3+ IP'er1,70 US$
  • 10+ IP'er1,60 US$
  • 25+ IP'er1,50 US$
  • 50+ IP'er1,40 US$
  • 100+ IP'er1,30 US$
  • 200+ IP'er1,20 US$
  • 500+ IP'er1,10 US$
Køb USA
Privat IPv4 (datacenter)
🇬🇧 Storbritannien
På lager
Fra
1,10 US$ / IP / måned
Mængderabatter
  • 1 IP1,85 US$
  • 3+ IP'er1,70 US$
  • 10+ IP'er1,60 US$
  • 25+ IP'er1,50 US$
  • 50+ IP'er1,40 US$
  • 100+ IP'er1,30 US$
  • 200+ IP'er1,20 US$
  • 500+ IP'er1,10 US$
Køb Storbritannien

Hvorfor middleware-tallet betyder noget

Downloader-middlewares kører i stigende rækkefølge på vej ud. HttpProxyMiddleware på 750 læser meta['proxy'], fjerner loginoplysningerne fra URL'en og skriver auth-headeren. Hvis din egen middleware indstiller proxyen bagefter, for eksempel på 800, har den indbyggede allerede kørt, loginoplysningerne konverteres aldrig, og proxyen svarer 407. Ved at registrere din på 740 placeres den først.

IndstillingForeslået værdiEffekt
request.meta['proxy']'http://user:pass@ip:port'Sender den pågældende anmodning gennem den angivne ProxyV4-proxy
Din middleware-rækkefølge740Kører før HttpProxyMiddleware (750), så loginet kodes
CONCURRENT_REQUESTS_PER_IP2 til 4Begrænser parallelle anmodninger pr. destinations-IP, en høflig grænse for, hvor hårdt hver server belastes
AUTOTHROTTLE_ENABLEDTrueLader Scrapy forlænge eller forkorte forsinkelser baseret på, hvor hurtigt målet svarer

Oversigt over en rotations-middleware

  • Læs proxylisten fra indstillingerne i from_crawler(), og gem den på middleware-instansen
  • I process_request() tildeles request.meta['proxy'] = random.choice(self.proxies), medmindre anmodningen allerede indeholder en
  • Når et svar returneres som 429 eller 503, prøves det igen med en anden proxy fra puljen i stedet for den, der lige blev afvist
  • Kombiner DOWNLOAD_DELAY = 1.0 med RANDOMIZE_DOWNLOAD_DELAY = True, så intervallet mellem anmodninger varierer i stedet for at tikke som en metronom

Dimensionering af puljen

Et Scrapy-crawl kan sende mange anmodninger i minuttet, så antallet af IP'er bestemmer, hvor skånsomt hver enkelt bruges. Med ProxyV4 er der ingen minimumsbestilling, og prisen pr. IP falder, når mængden stiger, og privat IPv4-trafik måles ikke, så et stort crawl koster det samme som et lille i båndbredde. Hver IP bruges kun af én kunde, så dens omdømme afspejler dit eget crawl og ingen andres. Se web scraping-guiden for planlægning af crawl-volumen og høflighed.

Trin for trin

  1. 1

    Forbered proxy-URL'erne

    Konverter dine ProxyV4-linjer i formatet ip:port:user:pass til http://user:pass@ip:port med proxy-formatkonverteren, og gem dem i settings eller i en fil.

  2. 2

    Skriv ProxyPoolMiddleware

    I middlewares.py implementeres process_request(self, request, spider), så den sætter request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Registrer den før den indbyggede

    I settings.py tilføjes 'myproject.middlewares.ProxyPoolMiddleware': 740 til DOWNLOADER_MIDDLEWARES, og sæt CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Bekræft rotation

    Hent https://proxyv4.com/api/my-ip et par gange med scrapy shell eller en kort test-spider, og kontrollér, at den rapporterede IP ændrer sig på tværs af din pulje.

Ofte stillede spørgsmål

Min proxy-middleware med prioritet 800 får 407-fejl. Hvorfor?

På 800 kører den efter HttpProxyMiddleware (750), så user:pass i din proxy-URL bliver aldrig omdannet til en Proxy-Authorization-header. Flyt din middleware til under 750, f.eks. 740.

Kan jeg indstille proxyen for blot en enkelt anmodning?

Ja. Send meta={'proxy': 'http://user:pass@ip:port'}, når du opretter Request; den indbyggede middleware håndterer kun loginet for den pågældende anmodning.

Vil et crawl af millioner af sider ramme en båndbreddegrænse?

Ikke på private IPv4- eller statiske ISP-proxyer fra ProxyV4; begge har ubegrænset båndbredde. Den praktiske grænse er, hvor hurtigt målet tillader dig at crawle.

Kilder

Ubegrænsede statiske IP'er til Scrapy-crawls

Privat IPv4 i 7 lande samt statisk ISP i USA og Vietnam, fra en enkelt IP til en stor pulje, med live mængdepriser.

Tjek aktuelle priser i USA

Related articles

Proxyer efter platform
Proxyer til web scraping: en fast pulje af IP'er med ubegrænset trafik
Web scraping-proxyer til Python, Scrapy, Playwright og Selenium: en pulje af private IPv4- og statiske ISP-adresser, ubegrænset båndbredde, fast pris pr. IP.
Proxy-opsætning
Python-requests via en godkendt proxy, trin for trin
Send Python-requests gennem en godkendt HTTP(S)-proxy: opret proxies-dict, tilknyt en Session, indkod specielle adgangskoder, rotér en liste og tjek IP'en.
Proxy-opsætning
Playwright-proxygodkendelse, én statisk IP pr. kontekst
Giv hver Playwright-browserkontekst sin egen godkendte HTTP(S)-proxy i Node.js eller Python, match tidszone og locale til IP'en, og bekræft exit-adressen.
Gratis værktøjer
Omskriv en proxyliste til det format, dit værktøj forventer
Konverter proxylister direkte i browseren mellem ip:port:user:pass, user:pass@ip:port, http://-URL'er, SOCKS5-URI'er, JSON-arrays og FoxyProxy-filer samlet.
Proxyer efter platform
Proxyer til SEO-rank tracking: Se resultatsiden, som en lokal bruger ser den
SEO-rank tracking-proxyer med privat IPv4 i USA, UK, Vietnam, Japan og fire andre markeder, så rankings, local packs og annoncer matcher det, lokale ser.
Proxyer efter platform
Amazon seller-proxyer, der giver hver konto en permanent adresse
Amazon seller-proxyer til Seller Central, KDP og Merch: en statisk US ISP eller UK/Japan privat IPv4 pr. konto, lejet til dig alene og beholdt ved fornyelse.
IPV4 · united states
Privat IPv4-proxypool i USA til scraping, rangsporing og annoncekontrol
Køb private amerikanske IPv4-proxies: statiske datacenter-IP'er, én kunde pr. IP, ubegrænset båndbredde. Til scraping, SERP-sporing og tjek af US-annoncer.
IPV4 · united kingdom
Privat IPv4-proxy i Storbritannien til markedspladser, søgning og kampagner
UK privat IPv4-proxy med statisk britisk datacenter-IP udlejet til én kunde, til eBay UK- og Amazon.co.uk-analyse, google.co.uk-sporing samt UK-annoncetjek.