ProxyV4

Scrapy-proxies: meta['proxy'], middleware-volgorde en rotasie

· Updated:

In Scrapy word 'n instaanbediener per versoek ingestel via request.meta['proxy'] = 'http://user:pass@ip:port', en die ingeboude HttpProxyMiddleware (orde 750) skakel die user:pass-deel om in 'n Proxy-Authorization-opskrif. Voeg 'n klein downloader-middleware by wat voor dit loop, teen 740, en elke versoek wat jou spider lewer, kan 'n IP uit jou ProxyV4-poel kies.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privaat IPv4 (datasentrum)
🇺🇸 Verenigde State
In voorraad
Vanaf
USD 1,10 / IP / maand
Hoeveelheidsafslag
  • 1 IPUSD 1,85
  • 3+ IP'sUSD 1,70
  • 10+ IP'sUSD 1,60
  • 25+ IP'sUSD 1,50
  • 50+ IP'sUSD 1,40
  • 100+ IP'sUSD 1,30
  • 200+ IP'sUSD 1,20
  • 500+ IP'sUSD 1,10
Koop Verenigde State
Privaat IPv4 (datasentrum)
🇬🇧 Verenigde Koninkryk
In voorraad
Vanaf
USD 1,10 / IP / maand
Hoeveelheidsafslag
  • 1 IPUSD 1,85
  • 3+ IP'sUSD 1,70
  • 10+ IP'sUSD 1,60
  • 25+ IP'sUSD 1,50
  • 50+ IP'sUSD 1,40
  • 100+ IP'sUSD 1,30
  • 200+ IP'sUSD 1,20
  • 500+ IP'sUSD 1,10
Koop Verenigde Koninkryk

Waarom die middleware-nommer saak maak

Downloader-middlewares loop in stygende volgorde op pad uit. HttpProxyMiddleware teen 750 lees meta['proxy'], verwyder die aanmeldbesonderhede van die URL en skryf die verifikasie-opskrif. As jou eie middleware die instaanbediener eers daarna instel, byvoorbeeld teen 800, het die ingeboude een reeds geloop, die besonderhede word nooit omgeskakel nie, en die instaanbediener antwoord met 407. Deur joune teen 740 te registreer, word dit eerste geplaas.

InstellingVoorgestelde waardeUitwerking
request.meta['proxy']'http://user:pass@ip:port'Stuur daardie versoek deur die gegewe ProxyV4-instaanbediener
Jou middleware-volgorde740Loop voor HttpProxyMiddleware (750), sodat die aanmelding geënkodeer word
CONCURRENT_REQUESTS_PER_IP2 tot 4Beperk parallelle versoeke per bestemming-IP, 'n hoflike perk op hoe swaar elke bediener belas word
AUTOTHROTTLE_ENABLEDTrueLaat Scrapy vertragings verleng of verkort na gelang van hoe vinnig die teiken reageer

'n Rotasie-middleware in hooftrekke

  • Lees die instaanbedienerlys vanaf instellings in from_crawler() en hou dit op die middleware-instansie
  • In process_request(), ken request.meta['proxy'] = random.choice(self.proxies) toe tensy die versoek reeds een het
  • Wanneer 'n antwoord as 429 of 503 terugkom, probeer dit weer met 'n ander instaanbediener uit die poel in plaas van die een wat pas geweier is
  • Kombineer DOWNLOAD_DELAY = 1.0 met RANDOMIZE_DOWNLOAD_DELAY = True sodat die gaping tussen versoeke wissel eerder as om soos 'n metronoom te tik

Bepaling van die poelgrootte

'n Scrapy-kruiptog kan baie versoeke per minuut uitstuur, so die aantal IP's bepaal hoe versigtig elkeen gebruik word. Met ProxyV4 is daar geen minimum bestelling nie en die prys per IP daal namate die hoeveelheid toeneem, en private IPv4-verkeer word nie gemeet nie, so 'n groot kruiptog kos dieselfde as 'n kleintjie wat bandwydte betref. Elke IP word deur net een kliënt gebruik, so die reputasie daarvan weerspieël jou eie kruiptog en niemand anders s'n nie. Vir die beplanning van kruipvolume en hoflikheid, sien die webkruipgids.

Stap vir stap

  1. 1

    Berei die instaanbediener-URL's voor

    Skakel jou ProxyV4 ip:port:user:pass-reëls om na http://user:pass@ip:port met die instaanformaatomskakelaar en stoor dit in instellings of 'n lêer.

  2. 2

    Skryf ProxyPoolMiddleware

    In middlewares.py, implementeer process_request(self, request, spider) sodat dit request.meta['proxy'] = random.choice(self.proxies) stel.

  3. 3

    Registreer dit voor die ingeboude een

    In settings.py, voeg 'myproject.middlewares.ProxyPoolMiddleware': 740 by DOWNLOADER_MIDDLEWARES en stel CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Bevestig rotasie

    Haal https://proxyv4.com/api/my-ip 'n paar keer op met scrapy shell of 'n kort toets-spider en kyk of die gerapporteerde IP oor jou poel heen verander.

Gereelde vrae

My instaan-middleware teen prioriteit 800 kry 407-foute. Waarom?

Teen 800 loop dit na HttpProxyMiddleware (750), so die user:pass in jou instaan-URL word nooit omgeskakel in 'n Proxy-Authorization-opskrif nie. Skuif jou middleware onder 750, bv. 740.

Kan ek die instaanbediener vir net een versoek stel?

Ja. Gee meta={'proxy': 'http://user:pass@ip:port'} mee wanneer jy die Request skep; die ingeboude middleware hanteer die aanmelding slegs vir daardie versoek.

Sal 'n kruiptog van miljoene bladsye 'n bandwydtebeperking tref?

Nie op ProxyV4 private IPv4- of statiese ISP-instaanbedieners nie; albei het onbeperkte bandwydte. Die praktiese beperking is hoe vinnig die teiken jou toelaat om te kruip.

Bronne

Ongemeet statiese IP's vir Scrapy-kruiptogte

Private IPv4 in 7 lande plus statiese ISP in die VSA en Viëtnam, van 'n enkele IP tot 'n groot poel, met intydse volumepryse.

Kyk na regstreekse VSA-pryse

Related articles

Instaanbedieners per platform
Proksees vir webskraap: 'n vaste IP-poel met onbeperkte verkeer
Webskraap-proksees vir Python, Scrapy, Playwright en Selenium: 'n poel privaat IPv4- en statiese ISP-adresse, onbeperkte bandwydte, vaste pryse per IP.
Instaan-opstelling
Python-requests deur 'n geoutentiseerde proxy, stap vir stap
Stuur Python-versoeke deur 'n geoutentiseerde HTTP(S)-proxy: bou die proxies-dict, heg aan 'n Session, enkodeer wagwoorde, roteer 'n lys en kontroleer die IP.
Instaan-opstelling
Playwright-proxyverifikasie, een statiese IP per konteks
Gee elke Playwright-blaaierkonteks sy eie geverifieerde HTTP(S)-proxy in Node.js of Python, pas tydsone en taal by die IP aan en bevestig die uitgangsadres.
Gratis nutsmiddels
Herskryf 'n proxy-lys na die formaat wat jou nutsding verwag
Skakel proxy-lyste in jou blaaier om tussen ip:port:user:pass, user:pass@ip:port, http://-URL's, SOCKS5-URI's, JSON-skikkings en FoxyProxy-lêers, in grootmaat.
Instaanbedieners per platform
Proxy's vir SEO-rangopsporing: sien die resultatebladsy wat 'n plaaslike soeker sien
SEO-rangopsporing-proxy's met privaat IPv4 in die VSA, VK, Viëtnam, Japan en nog vier markte, sodat ranglyste, plaaslike pakke en advertensies plaaslik pas.
Instaanbedieners per platform
Amazon-verkoper-proxies wat aan elke rekening 'n permanente adres gee
Amazon-verkoper-proxies vir Seller Central, KDP en Merch: statiese VSA-ISP of VK/Japan privaat IPv4 per rekening, net aan jou verhuur en behou met hernuwing.
IPV4 · united states
VSA Privaat IPv4-proxy-poel vir skraapwerk, rangopsporing en advertensiekontroles
Koop private VS IPv4-proxy's: statiese VSA-datasentrum-IP's, een kliënt per IP, onbeperkte bandwydte. Vir skraapwerk, SERP-opsporing en VS-advertensietoetse.
IPV4 · united kingdom
VK Privaat IPv4-proxy vir markplekke, soektogte en veldtogte
VK privaat IPv4-proxy met statiese Britse datasentrum-IP aan een klant verhuur, vir eBay UK, Amazon.co.uk, google.co.uk-opsporing en VK-advertensiekontroles.