ProxyV4

Scrapy proxyji: meta['proxy'], redoslijed middlewarea i rotacija

· Updated:

U Scrapyju se proxy postavlja po zahtjevu putem request.meta['proxy'] = 'http://user:pass@ip:port', a ugrađeni HttpProxyMiddleware (redoslijed 750) pretvara dio user:pass u zaglavlje Proxy-Authorization. Dodajte mali downloader middleware koji se pokreće prije njega, na 740, i svaki zahtjev koji vaš spider pošalje može odabrati IP iz vašeg ProxyV4 poola.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privatni IPv4 (datacenter)
🇺🇸 Sjedinjene Američke Države
Na stanju
Od
1,10 USD / IP / mjesečno
Popusti na količinu
  • 1 IP1,85 USD
  • 3+ IP-jeva1,70 USD
  • 10+ IP-jeva1,60 USD
  • 25+ IP-jeva1,50 USD
  • 50+ IP-jeva1,40 USD
  • 100+ IP-jeva1,30 USD
  • 200+ IP-jeva1,20 USD
  • 500+ IP-jeva1,10 USD
Kupi Sjedinjene Američke Države
Privatni IPv4 (datacenter)
🇬🇧 Ujedinjeno Kraljevstvo
Na stanju
Od
1,10 USD / IP / mjesečno
Popusti na količinu
  • 1 IP1,85 USD
  • 3+ IP-jeva1,70 USD
  • 10+ IP-jeva1,60 USD
  • 25+ IP-jeva1,50 USD
  • 50+ IP-jeva1,40 USD
  • 100+ IP-jeva1,30 USD
  • 200+ IP-jeva1,20 USD
  • 500+ IP-jeva1,10 USD
Kupi Ujedinjeno Kraljevstvo

Zašto je broj middlewarea važan

Downloader middlewarei se izvršavaju u rastućem redoslijedu pri slanju zahtjeva. HttpProxyMiddleware na 750 čita meta['proxy'], uklanja vjerodajnice iz URL-a i upisuje auth zaglavlje. Ako vaš vlastiti middleware postavi proxy nakon toga, naprimjer na 800, ugrađeni se već izvršio, vjerodajnice se nikada ne pretvore i proxy vraća 407. Registracija vašeg na 740 stavlja ga na prvo mjesto.

PostavkaPredložena vrijednostEfekat
request.meta['proxy']'http://user:pass@ip:port'Šalje taj zahtjev kroz navedeni ProxyV4 proxy
Redoslijed vašeg middlewarea740Pokreće se prije HttpProxyMiddleware (750), pa su podaci za prijavu kodirani
CONCURRENT_REQUESTS_PER_IP2 do 4Ograničava paralelne zahtjeve po odredišnoj IP adresi, što je pristojno ograničenje opterećenja svakog servera
AUTOTHROTTLE_ENABLEDTrueOmogućava Scrapyju da produži ili skrati pauze u zavisnosti od toga koliko brzo ciljni server odgovara

Pregled middlewarea za rotaciju

  • Učitajte listu proxyja iz postavki u from_crawler() i sačuvajte je na instanci middlewarea
  • U process_request(), dodijelite request.meta['proxy'] = random.choice(self.proxies) osim ako zahtjev već nema postavljen proxy
  • Kada odgovor bude 429 ili 503, ponovite zahtjev s drugim proxyjem iz poola umjesto onog koji je upravo odbijen
  • Kombinujte DOWNLOAD_DELAY = 1.0 sa RANDOMIZE_DOWNLOAD_DELAY = True kako bi razmak između zahtjeva varirao umjesto da otkucava ravnomjerno poput metronoma

Dimenzionisanje poola

Scrapy scraping može slati veliki broj zahtjeva u minuti, pa broj IP adresa određuje koliko se svaka od njih umjereno koristi. Uz ProxyV4 nema minimalne narudžbe i cijena po IP adresi opada kako količina raste, a privatni IPv4 saobraćaj se ne mjeri, tako da veliki crawl košta jednako kao i mali po pitanju protoka. Svaku IP adresu koristi isključivo jedan korisnik, pa njena reputacija odražava samo vaše prikupljanje podataka i ničije drugo. Za planiranje obima i umjerenosti crawlinga, pogledajte vodič za web scraping.

Korak po korak

  1. 1

    Pripremite proxy URL-ove

    Pretvorite vaše ProxyV4 ip:port:user:pass linije u http://user:pass@ip:port pomoću alata za konverziju formata proxyja i sačuvajte ih u postavkama ili datoteci.

  2. 2

    Napišite ProxyPoolMiddleware

    U middlewares.py, implementirajte process_request(self, request, spider) tako da postavlja request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Registrujte ga prije ugrađenog

    U settings.py, dodajte 'myproject.middlewares.ProxyPoolMiddleware': 740 u DOWNLOADER_MIDDLEWARES i postavite CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Potvrdite rotaciju

    Dohvatite https://proxyv4.com/api/my-ip nekoliko puta pomoću scrapy shell ili kratkog testnog spidera i provjerite mijenja li se prijavljena IP adresa kroz vaš pool.

Često postavljana pitanja

Moj proxy middleware s prioritetom 800 dobija greške 407. Zašto?

Na 800 se pokreće nakon HttpProxyMiddleware (750), pa se user:pass u vašem proxy URL-u nikada ne pretvara u zaglavlje Proxy-Authorization. Pomjerite vaš middleware ispod 750, npr. na 740.

Mogu li postaviti proxy za samo jedan zahtjev?

Da. Proslijedite meta={'proxy': 'http://user:pass@ip:port'} kada kreirate Request; ugrađeni middleware obrađuje prijavu samo za taj zahtjev.

Hoće li crawl miliona stranica dostići limit protoka?

Ne na ProxyV4 privatnim IPv4 ili statičkim ISP proxyjima; oba imaju neograničen protok. Praktično ograničenje je brzina kojom vam ciljni server dopušta crawl.

Izvori

Neograničene statičke IP adrese za Scrapy crawl

Privatni IPv4 u 7 zemalja plus statički ISP u SAD-u i Vijetnamu, od pojedinačne IP adrese do velikog poola, uz ažurne količinske cijene.

Provjerite cijene za SAD uživo

Related articles

Proxyji po platformama
Proxyji za web scraping: fiksni pool IP-jeva s neograničenim prometom
Web scraping proxyji za Python, Scrapy, Playwright i Selenium: pool privatnih IPv4 i statičkih ISP adresa, neograničen protok, fiksna cijena po IP adresi.
Podešavanje proxyja
Python requests kroz autentifikovani proxy, korak po korak
Šaljite Python zahtjeve kroz autentifikovani HTTP(S) proxy: kreirajte proxies dict, povežite Session, kodirajte lozinke, rotirajte listu i provjerite IP.
Podešavanje proxyja
Playwright proxy autentifikacija, jedna statička IP adresa po kontekstu
Dodajte svakom Playwright kontekstu autentifikovani HTTP(S) proxy u Node.js ili Pythonu, uskladite zonu i lokalitet s IP-om te potvrdite izlaznu adresu.
Besplatni alati
Preuredite proxy listu u format koji vaš alat očekuje
Grupno konvertujte proxy liste u pregledniku između ip:port:user:pass, user:pass@ip:port, http:// URL-ova, SOCKS5 URI-ja, JSON nizova i FoxyProxy datoteka.
Proxyji po platformama
Proxyji za SEO praćenje pozicija: vidite stranicu rezultata baš kao lokalni korisnik
SEO proxyji za praćenje pozicija uz privatni IPv4 u SAD-u, UK-u, Vijetnamu, Japanu i još 4 tržišta, pa pozicije, lokalni paketi i oglasi odgovaraju lokalnim.
Proxyji po platformama
Amazon seller proxyji koji svakom nalogu daju trajnu adresu
Amazon seller proxyji za Seller Central, KDP i Merch: US statički ISP ili UK/Japan privatni IPv4 po nalogu, zakupljen samo vama i sačuvan pri obnovi.
IPV4 · united states
Pool privatnih IPv4 proxyja za SAD za scraping, praćenje pozicija i provjeru oglasa
Kupite privatne IPv4 proxyje za SAD: statički američki datacenter IP-jevi, jedan korisnik po IP-ju, neograničen protok. Za scraping, SERP i provjeru oglasa.
IPV4 · united kingdom
Privatni IPv4 proxy za Veliku Britaniju za prodajne platforme, pretragu i kampanje
UK privatni IPv4 proxy sa statičkom britanskom datacenter IP adresom za jednog korisnika: za analizu eBay UK i Amazon.co.uk, praćenje google.co.uk i UK oglasa.