Scrapy starpniekserveri: meta['proxy'], starpprogrammatūras secība un rotācija
Autors: ProxyV4 inženieru komanda · Updated:
Scrapy starpniekserveris tiek iestatīts katram pieprasījumam ar request.meta['proxy'] = 'http://user:pass@ip:port', un iebūvētā HttpProxyMiddleware (secība 750) pārvērš daļu user:pass par Proxy-Authorization galveni. Pievienojiet nelielu lejupielādētāja starpprogrammatūru, kas darbojas pirms tās ar prioritāti 740, un katrs jūsu zirnekļa ģenerētais pieprasījums varēs izvēlēties IP no jūsu ProxyV4 pūla.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
Kāpēc starpprogrammatūras numuram ir nozīme
Izejošajā ceļā lejupielādētāja starpprogrammatūras tiek izpildītas augošā secībā. HttpProxyMiddleware ar numuru 750 nolasa meta['proxy'], noņem akreditācijas datus no URL un ieraksta autentifikācijas galveni. Ja jūsu pašu starpprogrammatūra iestata starpniekserveri pēc tam, piemēram, pie 800, iebūvētā jau ir izpildījusies, akreditācijas dati netiek konvertēti, un starpniekserveris atbild ar 407. Reģistrējot savējo pie 740, tā tiks palaista vispirms.
| Iestatījums | Ieteicamā vērtība | Efekts |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Nosūta šo pieprasījumu caur norādīto ProxyV4 starpniekserveri |
| Jūsu starpprogrammatūras secība | 740 | Darbojas pirms HttpProxyMiddleware (750), tāpēc pieteikšanās dati tiek kodēti |
CONCURRENT_REQUESTS_PER_IP | 2 līdz 4 | Ierobežo paralēlos pieprasījumus katrai mērķa IP, pieklājīgi ierobežojot slodzi uz katru serveri |
AUTOTHROTTLE_ENABLED | True | Ļauj Scrapy palielināt vai saīsināt aiztures atkarībā no tā, cik ātri mērķis atbild |
Rotācijas starpprogrammatūra īsumā
- Nolasiet starpniekserveru sarakstu no iestatījumiem funkcijā
from_crawler()un saglabājiet to starpprogrammatūras instancē - Funkcijā
process_request()piešķirietrequest.meta['proxy'] = random.choice(self.proxies), ja vien pieprasījumam tāds jau nav norādīts - Kad atbilde atgriežas ar statusu
429vai503, mēģiniet vēlreiz ar citu starpniekserveri no pūla, nevis to, kurš tikko tika noraidīts - Kombinējiet
DOWNLOAD_DELAY = 1.0arRANDOMIZE_DOWNLOAD_DELAY = True, lai intervāls starp pieprasījumiem mainītos, nevis tikšķētu kā metronoms
Pūla izmēra izvēle
Scrapy rāpošana var nosūtīt daudz pieprasījumu minūtē, tāpēc IP adrešu skaits nosaka, cik saudzīgi katra no tām tiek izmantota. Ar ProxyV4 nav minimālā pasūtījuma, un cena par IP samazinās, pieaugot daudzumam, turklāt privātās IPv4 datplūsma netiek uzskaitīta, tāpēc joslas platuma ziņā apjomīga rāpošana maksā tikpat, cik neliela. Katru IP izmanto tikai viens klients, tāpēc tās reputācija atspoguļo tikai jūsu veikto rāpošanu un neviena cita. Lai plānotu rāpošanas apjomu un pieklājību, skatiet tīmekļa datu vākšanas ceļvedi.
Soli pa solim
- 1
Sagatavojiet starpniekserveru URL
Pārveidojiet savas ProxyV4
ip:port:user:passrindas parhttp://user:pass@ip:port, izmantojot starpniekserveru formāta pārveidotāju, un saglabājiet tās iestatījumos vai failā. - 2
Izveidojiet ProxyPoolMiddleware
Failā
middlewares.pyieviesietprocess_request(self, request, spider), lai tas iestatīturequest.meta['proxy'] = random.choice(self.proxies). - 3
Reģistrējiet to pirms iebūvētās starpprogrammatūras
Failā
settings.pypievienojiet'myproject.middlewares.ProxyPoolMiddleware': 740sarakstamDOWNLOADER_MIDDLEWARESun iestatietCONCURRENT_REQUESTS_PER_IP = 2. - 4
Pārbaudiet rotāciju
Veiciet pieprasījumu uz
https://proxyv4.com/api/my-ipdažas reizes, izmantojotscrapy shellvai īsu testa spider, un pārliecinieties, ka saņemtā IP mainās visā jūsu pūlā.
Biežāk uzdotie jautājumi
Mana starpniekserveru starpprogrammatūra ar prioritāti 800 saņem 407 kļūdas. Kāpēc?
Ar vērtību 800 tā tiek palaista pēc HttpProxyMiddleware (750), tāpēc user:pass jūsu starpniekservera URL nekad netiek pārvērsts par Proxy-Authorization galveni. Pārvietojiet savu starpprogrammatūru zem 750, piemēram, uz 740.
Vai varu iestatīt starpniekserveri tikai vienam pieprasījumam?
Jā. Izveidojot Request, norādiet meta={'proxy': 'http://user:pass@ip:port'}; iebūvētā starpprogrammatūra apstrādās pieteikšanos tikai šim konkrētajam pieprasījumam.
Vai miljoniem lapu rāpošana sasniegs datplūsmas limitu?
Nē, izmantojot ProxyV4 privātos IPv4 vai statiskos ISP starpniekserverus; abiem ir neierobežota datplūsma. Praktiskais ierobežojums ir tikai tas, cik ātri mērķa vietne ļauj jums veikt rāpošanu.
Avoti
Neierobežotas statiskās IP Scrapy rāpošanai
Privātās IPv4 adreses 7 valstīs, kā arī statiskie ISP ASV un Vjetnamā — no vienas IP līdz lielam pūlam ar apjomam pielāgotām cenām reāllaikā.
Skatīt aktuālās ASV cenas