Proxy-uri Scrapy: meta['proxy'], ordinea middleware-urilor și rotire
De către echipa de inginerie ProxyV4 · Updated:
În Scrapy, un proxy se setează per cerere prin request.meta['proxy'] = 'http://user:pass@ip:port', iar HttpProxyMiddleware-ul integrat (ordinea 750) transformă partea user:pass într-un header Proxy-Authorization. Adaugă un mic downloader middleware care rulează înaintea lui, la 740, iar fiecare cerere generată de spiderul tău va putea alege un IP din pool-ul tău ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 USD
- 3+ IP-uri1,70 USD
- 10+ IP-uri1,60 USD
- 25+ IP-uri1,50 USD
- 50+ IP-uri1,40 USD
- 100+ IP-uri1,30 USD
- 200+ IP-uri1,20 USD
- 500+ IP-uri1,10 USD
- 1 IP1,85 USD
- 3+ IP-uri1,70 USD
- 10+ IP-uri1,60 USD
- 25+ IP-uri1,50 USD
- 50+ IP-uri1,40 USD
- 100+ IP-uri1,30 USD
- 200+ IP-uri1,20 USD
- 500+ IP-uri1,10 USD
De ce contează numărul middleware-ului
Middleware-urile de tip downloader rulează în ordine crescătoare la trimiterea cererilor. HttpProxyMiddleware la 750 citește meta['proxy'], elimină datele de autentificare din URL și scrie headerul de autentificare. Dacă propriul tău middleware setează proxy-ul după aceea, de exemplu la 800, cel integrat a rulat deja, datele de acces nu mai sunt convertite niciodată, iar proxy-ul răspunde cu 407. Înregistrarea celui propriu la 740 îl plasează primul.
| Setare | Valoare sugerată | Efect |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Trimite acea cerere prin proxy-ul ProxyV4 specificat |
| Ordinea middleware-ului tău | 740 | Rulează înainte de HttpProxyMiddleware (750), astfel încât datele de login sunt codificate |
CONCURRENT_REQUESTS_PER_IP | 2 până la 4 | Limitează cererile paralele per IP de destinație, o limită politicoasă pentru a nu suprasolicita serverul |
AUTOTHROTTLE_ENABLED | True | Permite frameworkului Scrapy să mărească sau să scurteze întârzierile în funcție de cât de rapid răspunde ținta |
Structura unui middleware de rotire
- Citește lista de proxy-uri din setări în
from_crawler()și păstreaz-o în instanța de middleware - În
process_request(), atribuierequest.meta['proxy'] = random.choice(self.proxies), cu excepția cazului în care cererea conține deja unul - Când un răspuns se întoarce cu
429sau503, reîncearcă cererea cu un alt proxy din pool în locul celui care tocmai a fost refuzat - Combină
DOWNLOAD_DELAY = 1.0cuRANDOMIZE_DOWNLOAD_DELAY = True, astfel încât intervalul dintre cereri să varieze în loc să ticăie ca un metronom
Dimensionarea pool-ului
Un crawl cu Scrapy poate trimite multe cereri pe minut, așa că numărul de IP-uri determină cât de moderat este utilizat fiecare. Cu ProxyV4 nu există comandă minimă, iar prețul per IP scade pe măsură ce cantitatea crește; de asemenea, traficul pe IPv4 privat nu este contorizat, astfel că un crawl de volum mare costă la fel ca unul mic în privința lățimii de bandă. Fiecare IP este folosit de un singur client, astfel că reputația sa reflectă doar propriul tău crawl și al nimănui altcuiva. Pentru planificarea volumului de crawl și a frecvenței cererilor, consultă ghidul de web scraping.
Pas cu pas
- 1
Pregătește URL-urile de proxy
Convertește liniile ProxyV4
ip:port:user:passînhttp://user:pass@ip:portfolosind convertorul de format proxy și salvează-le în setări sau într-un fișier. - 2
Scrie ProxyPoolMiddleware
În
middlewares.py, implementeazăprocess_request(self, request, spider)astfel încât să setezerequest.meta['proxy'] = random.choice(self.proxies). - 3
Înregistrează-l înaintea celui integrat
În
settings.py, adaugă'myproject.middlewares.ProxyPoolMiddleware': 740laDOWNLOADER_MIDDLEWARESși seteazăCONCURRENT_REQUESTS_PER_IP = 2. - 4
Confirmă rotirea
Accesează
https://proxyv4.com/api/my-ipde câteva ori cuscrapy shellsau cu un scurt spider de test și verifică dacă IP-ul raportat se schimbă în cadrul pool-ului tău.
Întrebări frecvente
Middleware-ul meu de proxy cu prioritatea 800 primește erori 407. De ce?
La 800, acesta rulează după HttpProxyMiddleware (750), astfel încât user:pass din URL-ul tău de proxy nu este transformat niciodată într-un header Proxy-Authorization. Mută middleware-ul sub 750, de exemplu la 740.
Pot seta proxy-ul pentru o singură cerere?
Da. Transmite meta={'proxy': 'http://user:pass@ip:port'} când creezi obiectul Request; middleware-ul integrat se ocupă de autentificare doar pentru acea cerere.
Un crawl de milioane de pagini va atinge vreo limită de trafic?
Nu pe proxy-urile ProxyV4 IPv4 private sau ISP statice; ambele au lățime de bandă nelimitată. Limita practică depinde de cât de rapid îți permite ținta să faci crawl.
Surse
IP-uri statice fără limită de trafic pentru crawl-uri Scrapy
IPv4 privat în 7 țări plus ISP static în SUA și Vietnam, de la un singur IP până la un pool mare, cu prețuri de volum în timp real.
Vezi prețurile live pentru SUA