ProxyV4

Scrapy proksid: meta['proxy'], vahevara järjekord ja rotatsioon

· Updated:

Scrapys määratakse proksi iga päringu jaoks käsuga request.meta['proxy'] = 'http://user:pass@ip:port' ning sisseehitatud HttpProxyMiddleware (järjekorranumber 750) teisendab osa user:pass päiseks Proxy-Authorization. Kui lisad sellest ettepoole (positsioonile 740) väikese allalaadija vahevara, saab iga sinu ämbliku väljastatud päring valida IP oma ProxyV4 kogumist.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privaatne IPv4 (andmekeskus)
🇺🇸 Ameerika Ühendriigid
Laos olemas
Alates
1,10 $ / IP / kuu
Kogusesoodustused
  • 1 IP1,85 $
  • 3+ IP-d1,70 $
  • 10+ IP-d1,60 $
  • 25+ IP-d1,50 $
  • 50+ IP-d1,40 $
  • 100+ IP-d1,30 $
  • 200+ IP-d1,20 $
  • 500+ IP-d1,10 $
Osta Ameerika Ühendriigid
Privaatne IPv4 (andmekeskus)
🇬🇧 Suurbritannia
Laos olemas
Alates
1,10 $ / IP / kuu
Kogusesoodustused
  • 1 IP1,85 $
  • 3+ IP-d1,70 $
  • 10+ IP-d1,60 $
  • 25+ IP-d1,50 $
  • 50+ IP-d1,40 $
  • 100+ IP-d1,30 $
  • 200+ IP-d1,20 $
  • 500+ IP-d1,10 $
Osta Suurbritannia

Miks vahevara järjekorranumber on oluline

Väljuval suunal käivitatakse allalaadija vahevarad kasvavas järjekorras. HttpProxyMiddleware positsioonil 750 loeb väärtust meta['proxy'], eemaldab URL-ist autentimisandmed ja kirjutab autentimispäise. Kui sinu enda vahevara määrab proksi alles hiljem, näiteks positsioonil 800, on sisseehitatud vahevara juba tööd teinud, autentimisandmeid ei teisendata kunagi ja proksi vastab koodiga 407. Oma vahevara registreerimine positsioonil 740 seab selle ettepoole.

SeadistusSoovitatav väärtusMõju
request.meta['proxy']'http://user:pass@ip:port'Saadab selle päringu läbi määratud ProxyV4 proksi
Sinu vahevara järjekorranumber740Käivitub enne vahevara HttpProxyMiddleware (750), seega sisselogimisandmed kodeeritakse
CONCURRENT_REQUESTS_PER_IP2 kuni 4Piirab samaaegsete päringute arvu sihtkoha IP kohta – viisakas piirang, mis ei koorma serverit üle
AUTOTHROTTLE_ENABLEDTrueVõimaldab Scrapyl pikendada või lühendada viivitusi vastavalt sihtlehe reageerimiskiirusele

Rotatsioonivahevara põhimõte

  • Loe prokside nimekiri seadetest meetodis from_crawler() ja salvesta see vahevara eksemplari
  • Meetodis process_request() määra request.meta['proxy'] = random.choice(self.proxies), välja arvatud juhul, kui päringul on proksi juba olemas
  • Kui vastuseks tuleb 429 või 503, proovi päringut uuesti kogumist võetud teise proksiga, mitte äsja tagasi lükatuga
  • Kombineeri DOWNLOAD_DELAY = 1.0 seadistusega RANDOMIZE_DOWNLOAD_DELAY = True, et päringutevaheline intervall varieeruks ega korduks nagu metronoom

Kogumi suuruse valimine

Scrapy roomamine võib teha minutis väga palju päringuid, seega määrab IP-de arv, kui säästlikult igat neist kasutatakse. Teenusega ProxyV4 puudub minimaalne tellimus ja IP hind langeb koguse kasvades ning privaatse IPv4 liiklust ei mõõdeta – seega maksab ribalaiuse osas suur roomamine sama palju kui väike. Iga IP on kasutusel ainult ühel kliendil, seega peegeldab selle maine üksnes sinu enda roomamist ja mitte kellegi teise oma. Roomamismahu ja viisakusreeglite planeerimiseks tutvu veebikraapimise juhendiga.

Samm-sammult

  1. 1

    Valmista ette proksi URL-id

    Teisenda oma ProxyV4 read kujul ip:port:user:pass vormingusse http://user:pass@ip:port, kasutades proksivormingu teisendajat, ning salvesta need seadetesse või faili.

  2. 2

    Kirjuta ProxyPoolMiddleware

    Failis middlewares.py realiseeri process_request(self, request, spider) nii, et see määraks request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Registreeri see enne sisseehitatud vahevara

    Lisa failis settings.py parameetrisse DOWNLOADER_MIDDLEWARES väärtus 'myproject.middlewares.ProxyPoolMiddleware': 740 ja määra CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Kontrolli rotatsiooni

    Päri aadressi https://proxyv4.com/api/my-ip mõned korrad käsurealt scrapy shell või lühikese testiämblikuga ning veendu, et vastuseks saadud IP muutub vastavalt sinu kogumile.

Korduma kippuvad küsimused

Minu proksivahevara prioriteediga 800 saab veakoodi 407. Miks?

Positsioonil 800 käivitub see pärast vahevara HttpProxyMiddleware (750), mistõttu sinu proksi URL-is olevat osa user:pass ei teisendata kunagi päiseks Proxy-Authorization. Liiguta oma vahevara väärtusest 750 ettepoole, näiteks positsioonile 740.

Kas ma saan määrata proksi ainult ühele päringule?

Jah. Edasta objekti Request loomisel meta={'proxy': 'http://user:pass@ip:port'}; sisseehitatud vahevara tegeleb autentimisega ainult selle päringu puhul.

Kas miljonite lehtede roomamine võib ületada mahupiirangu?

Mitte ProxyV4 privaatsete IPv4 või staatiliste ISP proksidega – mõlemal on piiramatu ribalaius. Tegelikuks piiranguks on see, kui kiiresti sihtleht võimaldab andmeid koguda.

Allikad

Piiramatu mahuga staatilised IP-d Scrapy roomamiseks

Privaatne IPv4 7 riigis ning staatiline ISP USA-s ja Vietnamis, ühestainsast IP-st kuni suure kogumini reaalajas kogusepõhise hinnastusega.

Vaata USA reaalajas hindu

Related articles

Proksid platvormide kaupa
Proksid veebikraapimiseks: fikseeritud IP-kogum piiramatu liiklusega
Veebikraapimise proksid Pythoni, Scrapy, Playwrighti ja Seleniumi jaoks: privaatne IPv4 ja staatiline ISP, piiramatu andmemaht, kindel IP-põhine hind.
Proksi seadistamine
Python requests läbi audenditud proksi, samm-sammult
Saada Pythoni päringuid läbi audenditud HTTP(S) proksi: loo proxies-sõnastik, seo see Sessioniga, kodeeri paroolid, roteeri loendit ja kontrolli IP-aadressi.
Proksi seadistamine
Playwrighti proksi autentimine: üks staatiline IP konteksti kohta
Määrake igale Playwrighti kontekstile oma autentitud HTTP(S)-proksi Node.js-is või Pythonis, sobitage ajavöönd ja lokaat IP-ga ning kontrollige välisaadressi.
Tasuta tööriistad
Teisenda proksiloend formaati, mida su tööriist eeldab
Teisenda brauseris proksiloendeid: ip:port:user:pass, user:pass@ip:port, http:// URL-id, SOCKS5 URI-d, JSON-massiivid ja FoxyProxy importfailid hulgina.
Proksid platvormide kaupa
Proksid SEO positsioonide jälgimiseks: näe tulemuste lehte kohaliku otsija pilgu läbi
Privaatse IPv4-ga SEO proksid USA-s, Suurbritannias, Vietnamis, Jaapanis ja 4 muul turul: tulemused, kohalikud pakid ja reklaamid vastavad kohalike vaatele.
Proksid platvormide kaupa
Amazoni müüja proksid, mis tagavad igale kontole püsiva aadressi
Amazoni müüja proksid Seller Centrali, KDP ja Merchi jaoks: USA staatiline ISP või UK/Jaapani privaatne IPv4 konto kohta, ainult teile ja püsiv pikendamisel.
IPV4 · united states
USA privaatne IPv4 proksikogum andmekorjeks, positsioonide jälgimiseks ja reklaamide kontrolliks
Osta USA privaatseid IPv4 proksisid: staatilised USA andmekeskuse IP-d, üks klient IP kohta, piiramatu liiklus. Kraapimiseks, SERP-i ja reklaamide kontrolliks.
IPV4 · united kingdom
Ühendkuningriigi privaatne IPv4 proksi e-turgude, otsingu ja kampaaniate jaoks
Staatilise Briti andmekeskuse IP-ga UK privaatne IPv4 proksi ühele kliendile: eBay UK, Amazon.co.uk ja google.co.uk seireks ning UK reklaamide kontrolliks.