ProxyV4

Scrapy proxyji: meta['proxy'], vrstni red middleware in rotacija

· Updated:

V Scrapyju se proxy nastavi za vsak zahtevek z request.meta['proxy'] = 'http://user:pass@ip:port', vgrajeni HttpProxyMiddleware (vrstni red 750) pa del user:pass pretvori v glavo Proxy-Authorization. Dodajte majhen downloader middleware, ki se izvede pred njim, pri 740, in vsak zahtevek vašega pajka lahko izbere IP iz vašega nabora pri ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Zasebni IPv4 (podatkovni center)
🇺🇸 Združene države Amerike
Na zalogi
Od
1,10 $ / IP / mesec
Količinski popusti
  • 1 IP1,85 $
  • 3+ IP-jev1,70 $
  • 10+ IP-jev1,60 $
  • 25+ IP-jev1,50 $
  • 50+ IP-jev1,40 $
  • 100+ IP-jev1,30 $
  • 200+ IP-jev1,20 $
  • 500+ IP-jev1,10 $
Kupi Združene države Amerike
Zasebni IPv4 (podatkovni center)
🇬🇧 Združeno kraljestvo
Na zalogi
Od
1,10 $ / IP / mesec
Količinski popusti
  • 1 IP1,85 $
  • 3+ IP-jev1,70 $
  • 10+ IP-jev1,60 $
  • 25+ IP-jev1,50 $
  • 50+ IP-jev1,40 $
  • 100+ IP-jev1,30 $
  • 200+ IP-jev1,20 $
  • 500+ IP-jev1,10 $
Kupi Združeno kraljestvo

Zakaj je številka middleware pomembna

Downloader middleware se ob odhodnih zahtevkih izvajajo v naraščajočem vrstnem redu. HttpProxyMiddleware pri 750 prebere meta['proxy'], odstrani prijavne podatke iz URL-ja in zapiše avtentikacijsko glavo. Če vaš lastni middleware nastavi proxy kasneje, na primer pri 800, se je vgrajeni že izvedel, prijavni podatki se nikoli ne pretvorijo in proxy vrne 407. Z registracijo svojega pri 740 ga postavite na prvo mesto.

NastavitevPredlagana vrednostUčinek
request.meta['proxy']'http://user:pass@ip:port'Pošlje ta zahtevek prek navedenega proxyja ProxyV4
Vrstni red vašega middleware740Izvede se pred HttpProxyMiddleware (750), zato se prijava zakodira
CONCURRENT_REQUESTS_PER_IP2 do 4Omeji vzporedne zahtevke na ciljni IP, kar je vljudna omejitev obremenitve posameznega strežnika
AUTOTHROTTLE_ENABLEDTrueOmogoča, da Scrapy podaljša ali skrajša zakasnitve glede na hitrost odziva cilja

Zasnova middleware za rotacijo

  • Preberite seznam proxyjev iz nastavitev v from_crawler() in ga shranite v instanco middleware
  • V process_request() dodelite request.meta['proxy'] = random.choice(self.proxies), razen če zahtevek proxy že vsebuje
  • Ko prejmete odgovor 429 ali 503, zahtevek ponovite z drugim proxyjem iz nabora namesto s tistim, ki je bil pravkar zavrnjen
  • Združite DOWNLOAD_DELAY = 1.0 z RANDOMIZE_DOWNLOAD_DELAY = True, da se presledek med zahtevki spreminja, namesto da utripa kot metronom

Določanje velikosti nabora

Pajkanje s Scrapy lahko pošlje veliko zahtevkov na minuto, zato število IP-jev določa, kako zmerno je posamezen IP obremenjen. Pri ProxyV4 ni minimalnega naročila, cena na IP z večanjem količine pada, promet zasebnih IPv4 pa se ne meri, zato velik zajem glede pasovne širine stane enako kot majhen. Vsak IP uporablja le ena stranka, zato njegov ugled odraža le vaše lastno plazenje in nikogar drugega. Za načrtovanje obsega zajema in vljudnosti si oglejte vodnik za spletno strganje.

Korak za korakom

  1. 1

    Pripravite URL-je proxyjev

    Pretvorite svoje vrstice ProxyV4 ip:port:user:pass v http://user:pass@ip:port s pretvornikom formata proxyjev in jih shranite v nastavitve ali datoteko.

  2. 2

    Napišite ProxyPoolMiddleware

    V middlewares.py implementirajte process_request(self, request, spider), tako da nastavi request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Registrirajte ga pred vgrajenim

    V settings.py dodajte 'myproject.middlewares.ProxyPoolMiddleware': 740 v DOWNLOADER_MIDDLEWARES in nastavite CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Potrdite rotacijo

    Nekajkrat prenesite https://proxyv4.com/api/my-ip z ukazom scrapy shell ali kratkim testnim pajkom ter preverite, ali se javljeni IP spreminja znotraj vašega nabora.

Pogosta vprašanja

Moj proxy middleware s prioriteto 800 javlja napake 407. Zakaj?

Pri 800 se izvede za HttpProxyMiddleware (750), zato se user:pass v vašem URL-ju proxyja nikoli ne pretvori v glavo Proxy-Authorization. Premaknite svoj middleware pod 750, npr. na 740.

Ali lahko proxy nastavim le za en zahtevek?

Da. Posredujte meta={'proxy': 'http://user:pass@ip:port'} ob ustvarjanju Request; vgrajeni middleware poskrbi za prijavo samo za ta zahtevek.

Ali bo plazenje po milijonih strani doseglo omejitev pasovne širine?

Ne pri zasebnih IPv4 ali statičnih ISP proxyjih ponudnika ProxyV4; oba imata neomejeno pasovno širino. Praktična omejitev je le hitrost, s katero vam cilj dovoljuje plazenje.

Viri

Neomejeni statični IP-ji za plazenje s Scrapy

Zasebni IPv4 v 7 državah ter statični ISP v ZDA in Vietnamu, od enega samega IP-ja do obsežnega nabora, s sprotnim količinskim popustom.

Preverite trenutne cene za ZDA

Related articles

Proxyji po platformah
Proxyji za spletno strganje: fiksen nabor IP-jev z neomejenim prenosom podatkov
Proxyji za spletno strganje za Python, Scrapy, Playwright in Selenium: nabor zasebnih IPv4 in statičnih ISP naslovov, neomejen prenos in fiksna cena na IP.
Nastavitev proxyja
Zahteve Python prek overjenega proxyja, korak za korakom
Pošiljajte zahteve Python prek overjenega proxyja HTTP(S): sestavite slovar proxies, ga dodajte v Session, kodirajte gesla, menjajte seznam in preverite IP.
Nastavitev proxyja
Avtentikacija proxyja v Playwrightu, en statični IP na kontekst
Vsakemu Playwright kontekstu dodelite avtenticiran HTTP(S) proxy v Node.js ali Pythonu, uskladite časovni pas in jezik z IP-jem ter potrdite izhodni naslov.
Brezplačna orodja
Preoblikujte seznam proxyjev v obliko, ki jo pričakuje vaše orodje
V brskalniku množično pretvorite sezname proxyjev med ip:port:user:pass, user:pass@ip:port, URL-ji http://, URI-ji SOCKS5, polji JSON in datotekami FoxyProxy.
Proxyji po platformah
Proxyji za SEO sledenje uvrstitvam: oglejte si rezultate, kot jih vidi lokalni uporabnik
SEO proxyji z zasebnim IPv4 v ZDA, VB, Vietnamu, na Japonskem in 4 drugih trgih, da uvrstitve, lokalni paketi in oglasi ustrezajo temu, kar vidijo domačini.
Proxyji po platformah
Amazon proxyji za prodajalce, ki vsakemu računu zagotovijo stalen naslov
Amazon proxyji za Seller Central, KDP in Merch: statični ISP v ZDA ali zasebni IPv4 v ZK/Japonski za vsak račun, v najemu le za vas in ohranjen ob obnovi.
IPV4 · united states
Ameriški nabor zasebnih IPv4 proxyjev za strganje podatkov, spremljanje uvrstitev in preverjanje oglasov
Kupite ameriške zasebne IPv4 proxyje: statični IP-ji podatkovnih centrov, en kupec na IP, neomejen prenos. Za strganje, SERP sledenje in preverjanje oglasov.
IPV4 · united kingdom
Britanski zasebni IPv4 proxy za spletne tržnice, iskanje in kampanje
Zasebni UK IPv4 proxy s statičnim britanskim IP podatkovnega centra za enega kupca. Za raziskave eBay UK, Amazon.co.uk, sledenje google.co.uk in oglase v UK.