ProxyV4

Scrapy proxy: meta['proxy'], middleware eiliškumas ir rotacija

· Updated:

Scrapy sistemoje proxy nustatomas kiekvienai užklausai per request.meta['proxy'] = 'http://user:pass@ip:port', o integruotas HttpProxyMiddleware (prioritetas 750) paverčia user:pass dalį Proxy-Authorization antrašte. Pridėkite nedidelį downloader middleware, veikiantį prieš jį, prioritete 740, ir kiekviena jūsų spider generuojama užklausa galės pasirinkti IP iš jūsų ProxyV4 telkinio.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privatus IPv4 (duomenų centras)
🇺🇸 Jungtinės Valstijos
Yra sandėlyje
Nuo
1,10 USD / IP / mėn.
Kiekio nuolaidos
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Pirkti Jungtinės Valstijos
Privatus IPv4 (duomenų centras)
🇬🇧 Jungtinė Karalystė
Yra sandėlyje
Nuo
1,10 USD / IP / mėn.
Kiekio nuolaidos
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Pirkti Jungtinė Karalystė

Kodėl middleware numeris yra svarbus

Siunčiant užklausas, downloader middleware komponentai vykdomi didėjančia tvarka. HttpProxyMiddleware ties 750 nuskaito meta['proxy'], pašalina prisijungimo duomenis iš URL ir įrašo autentifikavimo antraštę. Jei jūsų pačių middleware nustato proxy vėliau, pavyzdžiui, ties 800, integruotas komponentas jau bus suveikęs, prisijungimo duomenys nebus konvertuoti, o proxy grąžins 407 klaidą. Užregistravus savąjį ties 740, jis bus vykdomas pirmas.

NustatymasRekomenduojama reikšmėPoveikis
request.meta['proxy']'http://user:pass@ip:port'Nukreipia tą užklausą per nurodytą ProxyV4 proxy
Jūsų middleware eilės numeris740Veikia prieš HttpProxyMiddleware (750), todėl prisijungimo duomenys yra užkoduojami
CONCURRENT_REQUESTS_PER_IPnuo 2 iki 4Apriboja lygiagrečias užklausas vienam tiksliniam IP – tai mandagus apribojimas, mažinantis serverio apkrovą
AUTOTHROTTLE_ENABLEDTrueLeidžia Scrapy pailginti arba sutrumpinti delsas atsižvelgiant į tai, kaip greitai atsako tikslinis serveris

Rotacijos middleware struktūra

  • Metode from_crawler() nuskaitykite proxy sąrašą iš nustatymų ir išsaugokite jį middleware egzemplioriuje
  • Metode process_request() priskirkite request.meta['proxy'] = random.choice(self.proxies), nebent užklausa jau turi nurodytą proxy
  • Gavus atsakymą 429 arba 503, pakartokite užklausą su kitu proxy iš telkinio, o ne su ką tik atmestuoju
  • Suderinkite DOWNLOAD_DELAY = 1.0 su RANDOMIZE_DOWNLOAD_DELAY = True, kad intervalas tarp užklausų kistų, o netiksėtų kaip metronomas

Telkinio dydžio parinkimas

Scrapy nuskaitymas gali atlikti daugybę užklausų per minutę, todėl IP skaičius nulemia, kaip tausojančiai bus naudojamas kiekvienas iš jų. Naudojant ProxyV4, nėra minimalaus užsakymo, kaina už vieną IP mažėja didėjant kiekiui, o privatus IPv4 srautas nėra ribojamas, todėl pralaidumo atžvilgiu didelis duomenų rinkimas kainuoja tiek pat, kiek ir mažas. Kiekvieną IP naudoja tik vienas klientas, todėl jo reputacija atspindi tik jūsų pačių, o ne kieno nors kito atliekamą nuskaitymą. Norėdami suplanuoti nuskaitymo apimtis ir taisykles, skaitykite web scraping gidą.

Žingsnis po žingsnio

  1. 1

    Paruoškite proxy URL adresus

    Konvertuokite savo ProxyV4 ip:port:user:pass eilutes į http://user:pass@ip:port naudodami proxy formato keitiklį ir išsaugokite juos nustatymuose arba faile.

  2. 2

    Sukurkite ProxyPoolMiddleware

    Faile middlewares.py realizuokite process_request(self, request, spider), kad jis nustatytų request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Užregistruokite prieš numatytąjį komponentą

    Faile settings.py įtraukite 'myproject.middlewares.ProxyPoolMiddleware': 740 į DOWNLOADER_MIDDLEWARES ir nustatykite CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Patikrinkite rotaciją

    Kelis kartus užklauskite https://proxyv4.com/api/my-ip naudodami scrapy shell arba trumpą bandomąjį spider ir įsitikinkite, kad grąžinamas IP kinta jūsų telkinyje.

Dažnai užduodami klausimai

Mano proxy middleware su 800 prioritetu gauna 407 klaidas. Kodėl?

Esant 800, jis vykdomas po HttpProxyMiddleware (750), todėl user:pass dalis jūsų proxy URL niekada nepaverčiama į Proxy-Authorization antraštę. Perkelkite savo middleware žemiau 750, pavyzdžiui, į 740.

Ar galiu nustatyti proxy tik vienai užklausai?

Taip. Kuriant Request, perduokite meta={'proxy': 'http://user:pass@ip:port'}; integruotas middleware atliks autorizavimą tik šiai konkrečiai užklausai.

Ar nuskaitant milijonus puslapių bus pasiektas duomenų srauto limitas?

Nei su ProxyV4 privačiais IPv4, nei su statiniais ISP proxy – abu turi neribotą duomenų srautą. Praktiškai limitą nulemia tik tai, kaip greitai tikslinis serveris leidžia atlikti nuskaitymą.

Šaltiniai

Neriboti statiniai IP Scrapy nuskaitymams

Privatūs IPv4 7 šalyse ir statiniai ISP JAV bei Vietname – nuo vieno IP iki didelio telkinio su tiesiogine apimties kainodara.

Sužinokite JAV kainas

Related articles

Proxy pagal platformą
Proxy duomenų nuskaitymui: fiksuotas IP adresų telkinys su neribotu srautu
Web scraping proxy Python, Scrapy, Playwright ir Selenium: privačių IPv4 ir statinių ISP adresų telkinys, neribotas srautas bei fiksuota kaina už IP.
Proxy nustatymas
Python requests per autentifikuotą proxy žingsnis po žingsnio
Siųskite Python užklausas per autentifikuotą HTTP(S) proxy: sukurkite proxies žodyną, junkite Session, koduokite slaptažodžius, keiskite sąrašą, tikrinkite IP.
Proxy nustatymas
Playwright proxy autentifikavimas: po vieną statinį IP kiekvienam kontekstui
Suteikite Playwright naršyklės kontekstui autorizuotą HTTP(S) proxy Node.js ar Python, suderinkite laiko juostą bei kalbą su IP ir patvirtinkite išorinį adresą.
Nemokami įrankiai
Pakeiskite proxy sąrašą į įrankiui reikalingą formatą
Masiškai konvertuokite proxy sąrašus naršyklėje: ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON masyvai ir FoxyProxy importo failai.
Proxy pagal platformą
Proxy SEO pozicijų sekimui: matykite rezultatų puslapį vietinio vartotojo akimis
SEO pozicijų sekimo proxy su privačiu IPv4 JAV, JK, Vietname, Japonijoje ir 4 kitose rinkose: pozicijos, vietiniai paketai ir reklama atitiks vietinių paiešką.
Proxy pagal platformą
Amazon pardavėjų proxy, suteikiantys kiekvienai paskyrai nuolatinį adresą
Amazon seller proxy paskyroms Seller Central, KDP ir Merch: JAV statinis ISP ar JK/Japonijos privatus IPv4, nuomojamas tik jums ir išlaikomas pratęsiant.
IPV4 · united states
Privatus JAV IPv4 proxy telkinys duomenų rinkimui, pozicijų stebėjimui ir reklamų patikrai
Pirkite JAV privačius IPv4 proxy: statiniai JAV duomenų centrų IP, vienas klientas vienam IP, neribotas srautas. Tinka scrapingui, SERP ir JAV reklamų patikrai.
IPV4 · united kingdom
Privatus JK IPv4 proxy prekyvietėms, paieškai ir kampanijoms
JK privatus IPv4 proxy su statiniu britišku duomenų centro IP vienam klientui: eBay UK ir Amazon.co.uk tyrimams, google.co.uk bei JK reklamų patikrai.