ProxyV4

Scrapy proxy: meta['proxy'], poradie middleware a rotácia

· Updated:

V Scrapy sa proxy nastavuje pre každú požiadavku cez request.meta['proxy'] = 'http://user:pass@ip:port' a vstavaný HttpProxyMiddleware (poradie 750) prevedie časť user:pass na hlavičku Proxy-Authorization. Pridajte jednoduchý downloader middleware s poradím 740, ktorý beží pred ním, a každá požiadavka vytvorená vaším spiderom si môže vybrať IP z vášho ProxyV4 poolu.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privátne IPv4 (dátacentrum)
🇺🇸 Spojené štáty
Na sklade
Od
1,10 USD / IP / mesiac
Množstevné zľavy
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kúpiť: Spojené štáty
Privátne IPv4 (dátacentrum)
🇬🇧 Spojené kráľovstvo
Na sklade
Od
1,10 USD / IP / mesiac
Množstevné zľavy
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kúpiť: Spojené kráľovstvo

Prečo na čísle middleware záleží

Downloader middleware komponenty sa pri odosielaní požiadaviek spúšťajú vo vzostupnom poradí. HttpProxyMiddleware na pozícii 750 prečíta meta['proxy'], odstráni prihlasovacie údaje z URL a zapíše autentifikačnú hlavičku. Ak váš vlastný middleware nastaví proxy až potom, napríklad na pozícii 800, vstavaný už prebehol, prihlasovacie údaje sa nikdy neskonvertujú a proxy vráti chybu 407. Zaregistrovaním vášho na pozíciu 740 ho zaradíte ako prvý.

NastavenieOdporúčaná hodnotaÚčinok
request.meta['proxy']'http://user:pass@ip:port'Odošle danú požiadavku cez zadanú ProxyV4 proxy
Poradie vášho middleware740Spustí sa pred HttpProxyMiddleware (750), takže sa prihlásenie zakóduje
CONCURRENT_REQUESTS_PER_IP2 až 4Obmedzuje paralelné požiadavky na cieľovú IP – ohľaduplný limit záťaže cieľového servera
AUTOTHROTTLE_ENABLEDTrueUmožňuje Scrapy predlžovať alebo skracovať oneskorenia podľa toho, ako rýchlo cieľ odpovedá

Prehľad rotačného middleware

  • V from_crawler() načítajte zoznam proxy z nastavení a uložte ho v inštancii middleware
  • V process_request() priraďte request.meta['proxy'] = random.choice(self.proxies), pokiaľ už požiadavka proxy neobsahuje
  • Keď sa vráti odpoveď 429 alebo 503, zopakujte požiadavku s inou proxy z poolu namiesto tej, ktorá bola práve odmietnutá
  • Skombinujte DOWNLOAD_DELAY = 1.0 s RANDOMIZE_DOWNLOAD_DELAY = True, aby sa interval medzi požiadavkami menil a netikal presne ako metronóm

Dimenzovanie poolu

Scraping v Scrapy dokáže odoslať obrovské množstvo požiadaviek za minútu, takže počet IP určuje, ako šetrne sa každá z nich využíva. Pri ProxyV4 neexistuje minimálna objednávka a cena za IP klesá s rastúcim množstvom. Prenos dát pri privátnych IPv4 sa navyše nemeria, takže veľký crawl stojí na prenesených dátach rovnako ako malý. Každú IP používa výhradne jeden zákazník, jej reputácia teda odráža iba váš vlastný crawl a nikoho iného. Plánovanie objemu a ohľaduplnosti scrapingu nájdete v sprievodcovi web scrapingom.

Krok za krokom

  1. 1

    Pripravte proxy URL

    Preveďte svoje riadky ProxyV4 v tvare ip:port:user:pass na http://user:pass@ip:port pomocou prevodníka formátu proxy a uložte ich do nastavení alebo súboru.

  2. 2

    Vytvorte ProxyPoolMiddleware

    V middlewares.py implementujte process_request(self, request, spider) tak, aby nastavoval request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Zaregistrujte ho pred vstavaným

    V settings.py pridajte 'myproject.middlewares.ProxyPoolMiddleware': 740 do DOWNLOADER_MIDDLEWARES a nastavte CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Overte rotáciu

    Stiahnite niekoľkokrát https://proxyv4.com/api/my-ip pomocou scrapy shell alebo krátkeho testovacieho spidera a skontrolujte, či sa zobrazená IP mení naprieč vaším poolom.

Často kladené otázky

Môj proxy middleware s prioritou 800 vracia chyby 407. Prečo?

Na pozícii 800 beží až po HttpProxyMiddleware (750), takže časť user:pass vo vašej proxy URL sa nikdy neprevedie na hlavičku Proxy-Authorization. Presuňte svoj middleware pred 750, napr. na 740.

Môžem nastaviť proxy len pre jednu požiadavku?

Áno. Pri vytváraní Request zadajte meta={'proxy': 'http://user:pass@ip:port'}; vstavaný middleware sa postará o prihlásenie iba pre túto konkrétnu požiadavku.

Narazí crawl miliónov stránok na dátový limit?

Pri privátnych IPv4 ani statických ISP proxy od ProxyV4 nie – obe ponúkajú neobmedzený prenos dát. Praktickým limitom je len to, akou rýchlosťou vám cieľový web dovolí sťahovať.

Zdroje

Neobmedzené statické IP pre scraping v Scrapy

Privátne IPv4 v 7 krajinách a statické ISP v USA a vo Vietname, od jedinej IP až po rozsiahly pool s dynamickými množstevnými zľavami.

Pozrieť aktuálne ceny v USA

Related articles

Proxy podľa platformy
Proxy na web scraping: fixný pool IP adries s neobmedzeným prenosom
Proxy na web scraping pre Python, Scrapy, Playwright a Selenium: pool privátnych IPv4 a statických ISP adries, neobmedzený prenos a fixná cena za IP.
Nastavenie proxy
Python requests cez overenú proxy, krok za krokom
Posielajte Python requests cez overenú HTTP(S) proxy: vytvorte slovník proxies, pripojte ho k Session, kódujte heslá, rotujte zoznam a overte IP adresu.
Nastavenie proxy
Autentifikácia Playwright proxy: jedna statická IP na kontext
Nastavte overenú HTTP(S) proxy pre každý Playwright kontext v Node.js či Python, zlaďte časové pásmo aj jazyk s IP a overte si výstupnú adresu.
Bezplatné nástroje
Preveďte zoznam proxy do formátu, ktorý vyžaduje váš nástroj
Hromadne konvertujte zoznamy proxy v prehliadači medzi ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON poľami a súbormi pre FoxyProxy.
Proxy podľa platformy
Proxy na sledovanie SEO pozícií: pozrite sa na stránku s výsledkami očami miestnych
SEO proxy s privátnou IPv4 v USA, UK, Vietname, Japonsku a ďalších 4 trhoch. Pozície, lokálne balíčky aj reklamy uvidíte tak, ako ich vidia miestni.
Proxy podľa platformy
Amazon proxy, ktoré zabezpečia každému účtu trvalú adresu
Amazon proxy pre Seller Central, KDP a Merch: statická ISP v USA či privátna IPv4 pre každý účet. Výhradný prenájom s garanciou rovnakej IP pri predĺžení.
IPV4 · united states
Fond privátnych IPv4 proxy v USA pre scraping, sledovanie pozícií a kontrolu reklám
Kúpte privátne IPv4 proxy v USA: statické dátacentrové IP, jeden používateľ na IP a neobmedzený prenos. Ideálne na scraping, sledovanie SERP a kontrolu reklám.
IPV4 · united kingdom
Privátne britské IPv4 proxy pre trhoviská, vyhľadávanie a kampane
Privátne UK IPv4 proxy so statickou dátacentrovou IP pre jedného klienta na prieskum eBay UK, Amazon.co.uk, sledovanie google.co.uk a kontrolu reklám v UK.