ProxyV4

Scrapy proxyji: meta['proxy'], redoslijed middlewarea i rotacija

· Updated:

U Scrapyju se proxy postavlja po pojedinačnom zahtjevu putem request.meta['proxy'] = 'http://user:pass@ip:port', a ugrađeni HttpProxyMiddleware (redoslijed 750) pretvara dio user:pass u zaglavlje Proxy-Authorization. Dodajte mali downloader middleware koji se pokreće prije njega, na 740, i svaki zahtjev koji vaš spider pošalje može odabrati IP iz vašeg ProxyV4 poola.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privatni IPv4 (podatkovni centar)
🇺🇸 Sjedinjene Američke Države
Dostupno
Od
1,10 USD / IP / mjesečno
Količinski popusti
  • 1 IP1,85 USD
  • 3+ IP-ova1,70 USD
  • 10+ IP-ova1,60 USD
  • 25+ IP-ova1,50 USD
  • 50+ IP-ova1,40 USD
  • 100+ IP-ova1,30 USD
  • 200+ IP-ova1,20 USD
  • 500+ IP-ova1,10 USD
Kupi Sjedinjene Američke Države
Privatni IPv4 (podatkovni centar)
🇬🇧 Ujedinjeno Kraljevstvo
Dostupno
Od
1,10 USD / IP / mjesečno
Količinski popusti
  • 1 IP1,85 USD
  • 3+ IP-ova1,70 USD
  • 10+ IP-ova1,60 USD
  • 25+ IP-ova1,50 USD
  • 50+ IP-ova1,40 USD
  • 100+ IP-ova1,30 USD
  • 200+ IP-ova1,20 USD
  • 500+ IP-ova1,10 USD
Kupi Ujedinjeno Kraljevstvo

Zašto je redni broj middlewarea važan

Downloader middlewarei se pri slanju zahtjeva izvršavaju uzlaznim redoslijedom. HttpProxyMiddleware na 750 čita meta['proxy'], uklanja vjerodajnice iz URL-a i zapisuje autorizacijsko zaglavlje. Ako vaš vlastiti middleware postavi proxy nakon toga, na primjer na 800, ugrađeni se već izvršio, vjerodajnice se nikada ne pretvore i proxy vraća odgovor 407. Registracija vašeg na 740 stavlja ga na prvo mjesto.

PostavkaPredložena vrijednostUčinak
request.meta['proxy']'http://user:pass@ip:port'Šalje taj zahtjev kroz zadani ProxyV4 proxy
Redoslijed vašeg middlewarea740Pokreće se prije HttpProxyMiddleware (750), pa su podaci za prijavu kodirani
CONCURRENT_REQUESTS_PER_IP2 do 4Ograničava paralelne zahtjeve po odredišnoj IP adresi, što je pristojna granica opterećenja pojedinog poslužitelja
AUTOTHROTTLE_ENABLEDTrueOmogućuje Scrapyju produljenje ili skraćenje odgoda ovisno o brzini odgovora ciljnog poslužitelja

Pregled middlewarea za rotaciju

  • Učitajte popis proxyja iz postavki u from_crawler() i spremite ga na instancu middlewarea
  • U process_request(), dodijelite request.meta['proxy'] = random.choice(self.proxies) osim ako zahtjev već ne sadrži proxy
  • Kada odgovor vrati 429 ili 503, ponovite zahtjev s drugim proxyjem iz poola umjesto onoga koji je upravo odbijen
  • Kombinirajte DOWNLOAD_DELAY = 1.0 s RANDOMIZE_DOWNLOAD_DELAY = True kako bi razmak između zahtjeva varirao umjesto da otkucava poput metronoma

Određivanje veličine poola

Scrapy crawl može slati velik broj zahtjeva u minuti, pa broj IP adresa određuje koliko se umjereno svaka koristi. Uz ProxyV4 nema minimalne narudžbe, cijena po IP adresi pada s povećanjem količine, a privatni IPv4 promet se ne mjeri, pa velik crawl troši jednako kao i mali po pitanju propusnosti. Svaku IP adresu koristi isključivo jedan korisnik, pa njezina reputacija odražava samo vaše crawlanje. Za planiranje opsega i pristojnosti crawlanja, pogledajte vodič za web scraping.

Korak po korak

  1. 1

    Pripremite proxy URL-ove

    Pretvorite svoje ProxyV4 retke oblika ip:port:user:pass u http://user:pass@ip:port pomoću pretvarača formata proxyja i spremite ih u postavke ili datoteku.

  2. 2

    Napišite ProxyPoolMiddleware

    U middlewares.py, implementirajte process_request(self, request, spider) tako da postavlja request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Registrirajte ga prije ugrađenog

    U settings.py, dodajte 'myproject.middlewares.ProxyPoolMiddleware': 740 u DOWNLOADER_MIDDLEWARES i postavite CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Potvrdite rotaciju

    Dohvatite https://proxyv4.com/api/my-ip nekoliko puta pomoću scrapy shell ili kratkog testnog spidera i provjerite mijenja li se prijavljena IP adresa unutar vašeg poola.

Često postavljana pitanja

Moj proxy middleware na prioritetu 800 javlja pogreške 407. Zašto?

Na 800 se pokreće nakon HttpProxyMiddleware (750), pa se dio user:pass u vašem proxy URL-u nikada ne pretvara u zaglavlje Proxy-Authorization. Premjestite svoj middleware ispod 750, npr. na 740.

Mogu li postaviti proxy za samo jedan zahtjev?

Da. Proslijedite meta={'proxy': 'http://user:pass@ip:port'} prilikom stvaranja Request; ugrađeni middleware obrađuje prijavu samo za taj zahtjev.

Hoće li crawl od milijuna stranica dosegnuti ograničenje propusnosti?

Ne na ProxyV4 privatnim IPv4 ili statičkim ISP proxyjima; oba imaju neograničenu propusnost. Praktično ograničenje je brzina kojom vam ciljni poslužitelj dopušta crawlanje.

Izvori

Neograničene statičke IP adrese za Scrapy crawl

Privatni IPv4 u 7 zemalja plus statički ISP u SAD-u i Vijetnamu, od pojedinačne IP adrese do velikog poola, uz ažurne količinske cijene.

Provjerite trenutne cijene za SAD

Related articles

Proxyji po platformama
Proxyji za web scraping: fiksni bazen IP adresa s neograničenim prometom
Proxyji za web scraping za Python, Scrapy, Playwright i Selenium: bazen privatnih IPv4 i statičkih ISP adresa, neograničen promet i fiksne cijene po IP-ju.
Postavljanje proxyja
Python requests kroz autentificirani proxy, korak po korak
Šaljite Python zahtjeve kroz autentificirani HTTP(S) proxy: izradite rječnik proxies, dodajte ga u Session, kodirajte lozinke, rotirajte popis i provjerite IP.
Postavljanje proxyja
Autentifikacija Playwright proxyja: jedan statički IP po kontekstu
Postavite autentificirani HTTP(S) proxy za svaki Playwright kontekst u Node.js-u ili Pythonu, uskladite zonu i jezik s IP-om te provjerite izlaznu adresu.
Besplatni alati
Prilagodite popis proxyja formatu koji vaš alat očekuje
Pretvorite proxy popise u pregledniku između ip:port:user:pass, user:pass@ip:port, http:// URL-ova, SOCKS5 URI-ja, JSON polja i FoxyProxy datoteka, skupno.
Proxyji po platformama
Proxyji za SEO praćenje pozicija: pogledajte stranicu rezultata kakvu vidi lokalni korisnik
SEO proxyji s privatnim IPv4 u SAD-u, UK-u, Vijetnamu, Japanu i još 4 tržišta: pozicije, lokalni paketi i oglasi točno odgovaraju onome što vide lokalci.
Proxyji po platformama
Amazon seller proxyji koji svakom računu daju trajnu adresu
Amazon seller proxyji za Seller Central, KDP i Merch: statički ISP u SAD-u ili privatni IPv4 u UK-u/Japanu po računu, dodijeljen samo vama i trajan uz obnovu.
IPV4 · united states
Bazen privatnih IPv4 proxyja za SAD za scraping, praćenje pozicija i provjeru oglasa
Kupite privatne IPv4 proxyje u SAD-u: statički američki datacenter IP-ovi, jedan korisnik po IP-u, neograničen promet. Za scraping, SERP i provjeru oglasa.
IPV4 · united kingdom
Privatni IPv4 proxy za Ujedinjeno Kraljevstvo za online tržnice, pretraživanje i kampanje
UK privatni IPv4 proxy: statički britanski datacenter IP za jednog korisnika, za eBay UK i Amazon.co.uk analize, google.co.uk praćenje i provjeru UK oglasa.