ProxyV4

Scrapy-proxier: meta['proxy'], middleware-ordning och rotation

· Updated:

I Scrapy ställs en proxy in per förfrågan via request.meta['proxy'] = 'http://user:pass@ip:port', och den inbyggda HttpProxyMiddleware (ordning 750) omvandlar user:pass-delen till en Proxy-Authorization-header. Lägg till en enkel downloader-middleware som körs före den, vid 740, så kan varje förfrågan din spider genererar välja en IP från din ProxyV4-pool.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privat IPv4 (datacenter)
🇺🇸 USA
I lager
Från
1,10 US$ / IP / månad
Mängdrabatter
  • 1 IP1,85 US$
  • 3+ IP:n1,70 US$
  • 10+ IP:n1,60 US$
  • 25+ IP:n1,50 US$
  • 50+ IP:n1,40 US$
  • 100+ IP:n1,30 US$
  • 200+ IP:n1,20 US$
  • 500+ IP:n1,10 US$
Köp USA
Privat IPv4 (datacenter)
🇬🇧 Storbritannien
I lager
Från
1,10 US$ / IP / månad
Mängdrabatter
  • 1 IP1,85 US$
  • 3+ IP:n1,70 US$
  • 10+ IP:n1,60 US$
  • 25+ IP:n1,50 US$
  • 50+ IP:n1,40 US$
  • 100+ IP:n1,30 US$
  • 200+ IP:n1,20 US$
  • 500+ IP:n1,10 US$
Köp Storbritannien

Varför middleware-numret spelar roll

Downloader-middlewares körs i stigande ordning på vägen ut. HttpProxyMiddleware vid 750 läser meta['proxy'], tar bort inloggningsuppgifterna från URL:en och skriver auth-headern. Om din egen middleware anger proxyn efteråt, exempelvis vid 800, har den inbyggda redan körts, inloggningsuppgifterna konverteras aldrig och proxyn svarar med 407. Genom att registrera din vid 740 körs den först.

InställningFöreslaget värdeEffekt
request.meta['proxy']'http://user:pass@ip:port'Skickar förfrågan via angiven ProxyV4-proxy
Din middleware-ordning740Körs före HttpProxyMiddleware (750), så att inloggningen kodas
CONCURRENT_REQUESTS_PER_IP2 till 4Begränsar parallella förfrågningar per destinations-IP, en artig gräns för hur hårt varje server belastas
AUTOTHROTTLE_ENABLEDTrueLåter Scrapy förlänga eller förkorta fördröjningar baserat på hur snabbt målet svarar

Översikt över en rotations-middleware

  • Läs proxylistan från inställningarna i from_crawler() och spara den på middleware-instansen
  • I process_request(), tilldela request.meta['proxy'] = random.choice(self.proxies) om förfrågan inte redan har en
  • När ett svar returnerar 429 eller 503, försök igen med en annan proxy från poolen istället för den som just nekades
  • Kombinera DOWNLOAD_DELAY = 1.0 med RANDOMIZE_DOWNLOAD_DELAY = True så att intervallet mellan förfrågningar varierar istället för att ticka som en metronom

Dimensionera poolen

En Scrapy-crawl kan skicka många förfrågningar per minut, så antalet IP-adresser avgör hur skonsamt varje adress används. Hos ProxyV4 finns ingen minsta beställning och priset per IP sjunker när volymen ökar, och privat IPv4-trafik är inte volymbegränsad, så en stor crawl kostar detsamma som en liten i bandbredd. Varje IP används endast av en kund, så dess rykte speglar enbart din egen crawl och ingen annans. För planering av crawl-volym och hänsyn, se vår guide för webbskrapning.

Steg för steg

  1. 1

    Förbered proxy-URL:erna

    Konvertera dina ProxyV4 ip:port:user:pass-rader till http://user:pass@ip:port med vår proxyformat-konverterare och spara dem i inställningarna eller i en fil.

  2. 2

    Skriv ProxyPoolMiddleware

    I middlewares.py, implementera process_request(self, request, spider) så att den sätter request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Registrera den före den inbyggda

    I settings.py, lägg till 'myproject.middlewares.ProxyPoolMiddleware': 740 i DOWNLOADER_MIDDLEWARES och ställ in CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Bekräfta rotationen

    Hämta https://proxyv4.com/api/my-ip några gånger med scrapy shell eller en kort test-spider och kontrollera att den rapporterade IP-adressen växlar genom din pool.

Vanliga frågor

Min proxy-middleware med prioritet 800 får 407-fel. Varför?

Vid 800 körs den efter HttpProxyMiddleware (750), vilket innebär att user:pass i din proxy-URL aldrig omvandlas till en Proxy-Authorization-header. Flytta din middleware till ett värde under 750, t.ex. 740.

Kan jag ställa in proxyn för bara en förfrågan?

Ja. Skicka med meta={'proxy': 'http://user:pass@ip:port'} när du skapar din Request, så hanterar den inbyggda middlewaren inloggningen för enbart den förfrågan.

Når en crawl på miljontals sidor en bandbreddsgräns?

Inte med ProxyV4 privata IPv4- eller statiska ISP-proxier; båda har obegränsad bandbredd. Den praktiska gränsen är hur snabbt målet tillåter dig att crawla.

Källor

Obegränsade statiska IP-adresser för Scrapy-crawls

Privat IPv4 i 7 länder plus statisk ISP i USA och Vietnam, från en enskild IP till en stor pool, med volympriser i realtid.

Se aktuella USA-priser

Related articles

Proxies per plattform
Proxies för web scraping: en fast IP-pool med obegränsad trafik
Web scraping-proxies för Python, Scrapy, Playwright och Selenium: en pool av privata IPv4- och statiska ISP-adresser, obegränsad bandbredd, fast pris per IP.
Proxykonfiguration
Python requests via en autentiserad proxy, steg för steg
Skicka Python-requests via en autentiserad HTTP(S)-proxy: skapa proxies-dicten, koppla till en Session, koda udda lösenord, rotera listan och kontrollera IP:n.
Proxykonfiguration
Playwright-proxyautentisering, en statisk IP per kontext
Ge varje Playwright-kontext en egen autentiserad HTTP(S)-proxy i Node.js eller Python, matcha tidszon och språk mot IP-adressen och bekräfta utgångsadressen.
Gratis verktyg
Formatera om en proxylista till formatet ditt verktyg kräver
Konvertera proxylistor i webbläsaren mellan ip:port:user:pass, user:pass@ip:port, http://-URL:er, SOCKS5-URI:er, JSON-arrayer och FoxyProxy-importfiler i bulk.
Proxies per plattform
Proxies för SEO-rank tracking: se sökresultaten som lokala användare ser
SEO-proxies med privat IPv4 i USA, Storbritannien, Vietnam, Japan och fyra marknader till, så rankningar, local packs och annonser matchar vad lokala ser.
Proxies per plattform
Amazon-säljarproxies som ger varje konto en permanent adress
Amazon-säljarproxies för Seller Central, KDP och Merch: statisk ISP i USA eller privat IPv4 i UK/Japan per konto, exklusivt för dig och behålls vid förnyelse.
IPV4 · united states
Privat IPv4-proxypool i USA för webbskrapning, rankspårning och annonskontroller
Köp privata USA-IPv4-proxyer: statiska amerikanska datacenter-IP, en kund per IP, obegränsad bandbredd. För scraping, SERP-spårning och annonskontroll i USA.
IPV4 · united kingdom
Privat IPv4-proxy i Storbritannien för marknadsplatser, sök och kampanjer
Privat brittisk IPv4-proxy med statisk datacenter-IP hyrd till en kund: för research på eBay UK och Amazon.co.uk, google.co.uk-spårning och annonskontroller.