Scrapy proksid: meta['proxy'], vahevara järjekord ja rotatsioon
Autor: ProxyV4 insenerimeeskond · Updated:
Scrapys määratakse proksi iga päringu jaoks käsuga request.meta['proxy'] = 'http://user:pass@ip:port' ning sisseehitatud HttpProxyMiddleware (järjekorranumber 750) teisendab osa user:pass päiseks Proxy-Authorization. Kui lisad sellest ettepoole (positsioonile 740) väikese allalaadija vahevara, saab iga sinu ämbliku väljastatud päring valida IP oma ProxyV4 kogumist.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 $
- 3+ IP-d1,70 $
- 10+ IP-d1,60 $
- 25+ IP-d1,50 $
- 50+ IP-d1,40 $
- 100+ IP-d1,30 $
- 200+ IP-d1,20 $
- 500+ IP-d1,10 $
- 1 IP1,85 $
- 3+ IP-d1,70 $
- 10+ IP-d1,60 $
- 25+ IP-d1,50 $
- 50+ IP-d1,40 $
- 100+ IP-d1,30 $
- 200+ IP-d1,20 $
- 500+ IP-d1,10 $
Miks vahevara järjekorranumber on oluline
Väljuval suunal käivitatakse allalaadija vahevarad kasvavas järjekorras. HttpProxyMiddleware positsioonil 750 loeb väärtust meta['proxy'], eemaldab URL-ist autentimisandmed ja kirjutab autentimispäise. Kui sinu enda vahevara määrab proksi alles hiljem, näiteks positsioonil 800, on sisseehitatud vahevara juba tööd teinud, autentimisandmeid ei teisendata kunagi ja proksi vastab koodiga 407. Oma vahevara registreerimine positsioonil 740 seab selle ettepoole.
| Seadistus | Soovitatav väärtus | Mõju |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Saadab selle päringu läbi määratud ProxyV4 proksi |
| Sinu vahevara järjekorranumber | 740 | Käivitub enne vahevara HttpProxyMiddleware (750), seega sisselogimisandmed kodeeritakse |
CONCURRENT_REQUESTS_PER_IP | 2 kuni 4 | Piirab samaaegsete päringute arvu sihtkoha IP kohta – viisakas piirang, mis ei koorma serverit üle |
AUTOTHROTTLE_ENABLED | True | Võimaldab Scrapyl pikendada või lühendada viivitusi vastavalt sihtlehe reageerimiskiirusele |
Rotatsioonivahevara põhimõte
- Loe prokside nimekiri seadetest meetodis
from_crawler()ja salvesta see vahevara eksemplari - Meetodis
process_request()määrarequest.meta['proxy'] = random.choice(self.proxies), välja arvatud juhul, kui päringul on proksi juba olemas - Kui vastuseks tuleb
429või503, proovi päringut uuesti kogumist võetud teise proksiga, mitte äsja tagasi lükatuga - Kombineeri
DOWNLOAD_DELAY = 1.0seadistusegaRANDOMIZE_DOWNLOAD_DELAY = True, et päringutevaheline intervall varieeruks ega korduks nagu metronoom
Kogumi suuruse valimine
Scrapy roomamine võib teha minutis väga palju päringuid, seega määrab IP-de arv, kui säästlikult igat neist kasutatakse. Teenusega ProxyV4 puudub minimaalne tellimus ja IP hind langeb koguse kasvades ning privaatse IPv4 liiklust ei mõõdeta – seega maksab ribalaiuse osas suur roomamine sama palju kui väike. Iga IP on kasutusel ainult ühel kliendil, seega peegeldab selle maine üksnes sinu enda roomamist ja mitte kellegi teise oma. Roomamismahu ja viisakusreeglite planeerimiseks tutvu veebikraapimise juhendiga.
Samm-sammult
- 1
Valmista ette proksi URL-id
Teisenda oma ProxyV4 read kujul
ip:port:user:passvormingussehttp://user:pass@ip:port, kasutades proksivormingu teisendajat, ning salvesta need seadetesse või faili. - 2
Kirjuta ProxyPoolMiddleware
Failis
middlewares.pyrealiseeriprocess_request(self, request, spider)nii, et see määraksrequest.meta['proxy'] = random.choice(self.proxies). - 3
Registreeri see enne sisseehitatud vahevara
Lisa failis
settings.pyparameetrisseDOWNLOADER_MIDDLEWARESväärtus'myproject.middlewares.ProxyPoolMiddleware': 740ja määraCONCURRENT_REQUESTS_PER_IP = 2. - 4
Kontrolli rotatsiooni
Päri aadressi
https://proxyv4.com/api/my-ipmõned korrad käsurealtscrapy shellvõi lühikese testiämblikuga ning veendu, et vastuseks saadud IP muutub vastavalt sinu kogumile.
Korduma kippuvad küsimused
Minu proksivahevara prioriteediga 800 saab veakoodi 407. Miks?
Positsioonil 800 käivitub see pärast vahevara HttpProxyMiddleware (750), mistõttu sinu proksi URL-is olevat osa user:pass ei teisendata kunagi päiseks Proxy-Authorization. Liiguta oma vahevara väärtusest 750 ettepoole, näiteks positsioonile 740.
Kas ma saan määrata proksi ainult ühele päringule?
Jah. Edasta objekti Request loomisel meta={'proxy': 'http://user:pass@ip:port'}; sisseehitatud vahevara tegeleb autentimisega ainult selle päringu puhul.
Kas miljonite lehtede roomamine võib ületada mahupiirangu?
Mitte ProxyV4 privaatsete IPv4 või staatiliste ISP proksidega – mõlemal on piiramatu ribalaius. Tegelikuks piiranguks on see, kui kiiresti sihtleht võimaldab andmeid koguda.
Allikad
Piiramatu mahuga staatilised IP-d Scrapy roomamiseks
Privaatne IPv4 7 riigis ning staatiline ISP USA-s ja Vietnamis, ühestainsast IP-st kuni suure kogumini reaalajas kogusepõhise hinnastusega.
Vaata USA reaalajas hindu