ProxyV4

Proxy-uri Scrapy: meta['proxy'], ordinea middleware-urilor și rotire

· Updated:

În Scrapy, un proxy se setează per cerere prin request.meta['proxy'] = 'http://user:pass@ip:port', iar HttpProxyMiddleware-ul integrat (ordinea 750) transformă partea user:pass într-un header Proxy-Authorization. Adaugă un mic downloader middleware care rulează înaintea lui, la 740, iar fiecare cerere generată de spiderul tău va putea alege un IP din pool-ul tău ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 privat (datacenter)
🇺🇸 Statele Unite
În stoc
De la
1,10 USD / IP / lună
Reduceri de volum
  • 1 IP1,85 USD
  • 3+ IP-uri1,70 USD
  • 10+ IP-uri1,60 USD
  • 25+ IP-uri1,50 USD
  • 50+ IP-uri1,40 USD
  • 100+ IP-uri1,30 USD
  • 200+ IP-uri1,20 USD
  • 500+ IP-uri1,10 USD
Cumpără Statele Unite
IPv4 privat (datacenter)
🇬🇧 Regatul Unit
În stoc
De la
1,10 USD / IP / lună
Reduceri de volum
  • 1 IP1,85 USD
  • 3+ IP-uri1,70 USD
  • 10+ IP-uri1,60 USD
  • 25+ IP-uri1,50 USD
  • 50+ IP-uri1,40 USD
  • 100+ IP-uri1,30 USD
  • 200+ IP-uri1,20 USD
  • 500+ IP-uri1,10 USD
Cumpără Regatul Unit

De ce contează numărul middleware-ului

Middleware-urile de tip downloader rulează în ordine crescătoare la trimiterea cererilor. HttpProxyMiddleware la 750 citește meta['proxy'], elimină datele de autentificare din URL și scrie headerul de autentificare. Dacă propriul tău middleware setează proxy-ul după aceea, de exemplu la 800, cel integrat a rulat deja, datele de acces nu mai sunt convertite niciodată, iar proxy-ul răspunde cu 407. Înregistrarea celui propriu la 740 îl plasează primul.

SetareValoare sugeratăEfect
request.meta['proxy']'http://user:pass@ip:port'Trimite acea cerere prin proxy-ul ProxyV4 specificat
Ordinea middleware-ului tău740Rulează înainte de HttpProxyMiddleware (750), astfel încât datele de login sunt codificate
CONCURRENT_REQUESTS_PER_IP2 până la 4Limitează cererile paralele per IP de destinație, o limită politicoasă pentru a nu suprasolicita serverul
AUTOTHROTTLE_ENABLEDTruePermite frameworkului Scrapy să mărească sau să scurteze întârzierile în funcție de cât de rapid răspunde ținta

Structura unui middleware de rotire

  • Citește lista de proxy-uri din setări în from_crawler() și păstreaz-o în instanța de middleware
  • În process_request(), atribuie request.meta['proxy'] = random.choice(self.proxies), cu excepția cazului în care cererea conține deja unul
  • Când un răspuns se întoarce cu 429 sau 503, reîncearcă cererea cu un alt proxy din pool în locul celui care tocmai a fost refuzat
  • Combină DOWNLOAD_DELAY = 1.0 cu RANDOMIZE_DOWNLOAD_DELAY = True, astfel încât intervalul dintre cereri să varieze în loc să ticăie ca un metronom

Dimensionarea pool-ului

Un crawl cu Scrapy poate trimite multe cereri pe minut, așa că numărul de IP-uri determină cât de moderat este utilizat fiecare. Cu ProxyV4 nu există comandă minimă, iar prețul per IP scade pe măsură ce cantitatea crește; de asemenea, traficul pe IPv4 privat nu este contorizat, astfel că un crawl de volum mare costă la fel ca unul mic în privința lățimii de bandă. Fiecare IP este folosit de un singur client, astfel că reputația sa reflectă doar propriul tău crawl și al nimănui altcuiva. Pentru planificarea volumului de crawl și a frecvenței cererilor, consultă ghidul de web scraping.

Pas cu pas

  1. 1

    Pregătește URL-urile de proxy

    Convertește liniile ProxyV4 ip:port:user:pass în http://user:pass@ip:port folosind convertorul de format proxy și salvează-le în setări sau într-un fișier.

  2. 2

    Scrie ProxyPoolMiddleware

    În middlewares.py, implementează process_request(self, request, spider) astfel încât să seteze request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Înregistrează-l înaintea celui integrat

    În settings.py, adaugă 'myproject.middlewares.ProxyPoolMiddleware': 740 la DOWNLOADER_MIDDLEWARES și setează CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Confirmă rotirea

    Accesează https://proxyv4.com/api/my-ip de câteva ori cu scrapy shell sau cu un scurt spider de test și verifică dacă IP-ul raportat se schimbă în cadrul pool-ului tău.

Întrebări frecvente

Middleware-ul meu de proxy cu prioritatea 800 primește erori 407. De ce?

La 800, acesta rulează după HttpProxyMiddleware (750), astfel încât user:pass din URL-ul tău de proxy nu este transformat niciodată într-un header Proxy-Authorization. Mută middleware-ul sub 750, de exemplu la 740.

Pot seta proxy-ul pentru o singură cerere?

Da. Transmite meta={'proxy': 'http://user:pass@ip:port'} când creezi obiectul Request; middleware-ul integrat se ocupă de autentificare doar pentru acea cerere.

Un crawl de milioane de pagini va atinge vreo limită de trafic?

Nu pe proxy-urile ProxyV4 IPv4 private sau ISP statice; ambele au lățime de bandă nelimitată. Limita practică depinde de cât de rapid îți permite ținta să faci crawl.

Surse

IP-uri statice fără limită de trafic pentru crawl-uri Scrapy

IPv4 privat în 7 țări plus ISP static în SUA și Vietnam, de la un singur IP până la un pool mare, cu prețuri de volum în timp real.

Vezi prețurile live pentru SUA

Related articles

Proxy-uri după platformă
Proxy-uri pentru web scraping: pool fix de IP-uri cu trafic nelimitat
Proxy-uri de web scraping pentru Python, Scrapy, Playwright și Selenium: pool de IP-uri IPv4 private și ISP statice, trafic nelimitat, preț fix per IP.
Configurare proxy
Cereri Python requests printr-un proxy autentificat, pas cu pas
Trimite cereri Python prin proxy HTTP(S) autentificat: creează dict-ul proxies, atașează-l la Session, codifică parole speciale, rotește lista, verifică IP-ul.
Configurare proxy
Autentificare proxy în Playwright, un IP static per context
Oferă fiecărui context Playwright un proxy HTTP(S) autentificat în Node.js sau Python, potrivește fusul orar și limba cu IP-ul și confirmă adresa de ieșire.
Instrumente gratuite
Rescrie o listă de proxy-uri în formatul cerut de instrumentul tău
Convertește liste proxy în browser între ip:port:user:pass, user:pass@ip:port, URL-uri http://, URI-uri SOCKS5, vectori JSON și fișiere FoxyProxy, în masă.
Proxy-uri după platformă
Proxy-uri pentru SEO rank tracking: vezi pagina de rezultate pe care o vede un utilizator local
Proxy-uri SEO rank tracking cu IPv4 privat în SUA, UK, Vietnam, Japonia și alte 4 piețe: pozițiile, pachetele locale și reclamele reflectă ce văd localnicii.
Proxy-uri după platformă
Proxy-uri Amazon seller care oferă fiecărui cont o adresă permanentă
Proxy-uri Amazon seller pentru Seller Central, KDP și Merch: ISP static SUA sau IPv4 privat UK/Japonia per cont, alocate doar ție și păstrate la reînnoire.
IPV4 · united states
Pool de proxy-uri IPv4 private SUA pentru scraping, monitorizarea pozițiilor și verificarea reclamelor
Cumpără proxy-uri IPv4 private SUA: IP-uri statice de datacenter, trafic nelimitat, un client per IP. Ideale pentru scraping, SERP și verificat reclame.
IPV4 · united kingdom
Proxy IPv4 privat Marea Britanie pentru marketplace-uri, căutare și campanii
Proxy IPv4 privat UK cu IP britanic static de datacenter închiriat unui client: cercetare eBay UK, Amazon.co.uk, tracking google.co.uk și verificări reclame UK.