ProxyV4

Proxy për Scrapy: meta['proxy'], renditja e middleware dhe rrotullimi

· Updated:

Në Scrapy, një proxy vendoset për çdo kërkesë përmes request.meta['proxy'] = 'http://user:pass@ip:port', dhe HttpProxyMiddleware i integruar (rendi 750) e shndërron pjesën user:pass në një header Proxy-Authorization. Shtoni një downloader middleware të vogël që ekzekutohet para tij, në 740, dhe çdo kërkesë që gjeneron spider-i juaj mund të marrë një IP nga grupi juaj ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 privat (datacenter)
🇺🇸 Shtetet e Bashkuara
Në gjendje
Nga
1,10 US$ / IP / muaj
Zbritje për sasi
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Bli në Shtetet e Bashkuara
IPv4 privat (datacenter)
🇬🇧 Mbretëria e Bashkuar
Në gjendje
Nga
1,10 US$ / IP / muaj
Zbritje për sasi
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Bli në Mbretëria e Bashkuar

Pse ka rëndësi numri i middleware-it

Downloader middlewares ekzekutohen në rend rritës gjatë daljes. HttpProxyMiddleware në 750 lexon meta['proxy'], heq kredencialet nga URL-ja dhe shkruan header-in e autentikimit. Nëse middleware-i juaj e vendos proxy-n më pas, për shembull në 800, ai i integruari tashmë është ekzekutuar, kredencialet nuk konvertohen kurrë dhe proxy përgjigjet me 407. Regjistrimi i middleware-it tuaj në 740 e vendos atë të parin.

CilësimiVlera e sugjeruarEfekti
request.meta['proxy']'http://user:pass@ip:port'Dërgon atë kërkesë përmes proxy-t të dhënë ProxyV4
Rendi i middleware-it tuaj740Ekzekutohet para HttpProxyMiddleware (750), kështu që hyrja kodohet
CONCURRENT_REQUESTS_PER_IP2 deri në 4Kufizon kërkesat paralele për çdo IP destinacioni, një kufi i matur për ngarkesën e secilit server
AUTOTHROTTLE_ENABLEDTrueLejon që Scrapy të zgjasë ose të shkurtojë vonesat bazuar në shpejtësinë e përgjigjes së objektivit

Përmbledhje e një middleware rrotullimi

  • Lexoni listën e proxy-ve nga cilësimet në from_crawler() dhe ruajeni atë në instancën e middleware-it
  • Në process_request(), caktoni request.meta['proxy'] = random.choice(self.proxies) përveç rastit kur kërkesa tashmë përmban një të tillë
  • Kur një përgjigje kthehet me 429 ose 503, riprovoni me një proxy tjetër nga grupi në vend të atij që sapo u refuzua
  • Kombinoni DOWNLOAD_DELAY = 1.0 me RANDOMIZE_DOWNLOAD_DELAY = True në mënyrë që diferenca midis kërkesave të ndryshojë dhe të mos ecë si metronom

Përmasat e grupit të IP-ve

Një crawl me Scrapy mund të dërgojë shumë kërkesa në minutë, kështu që numri i IP-ve përcakton se sa me kujdes përdoret secila prej tyre. Me ProxyV4 nuk ka porosi minimale dhe çmimi për IP ulet me rritjen e sasisë, si dhe trafiku privat IPv4 nuk matet, prandaj një crawl i madh kushton njëlloj si një i vogël për sa i përket gjerësisë së brezit. Çdo IP përdoret vetëm nga një klient, kështu që reputacioni i saj pasqyron vetëm crawl-in tuaj dhe të askujt tjetër. Për planifikimin e vëllimit dhe kujdesit gjatë mbledhjes së të dhënave, shihni udhëzuesin e web scraping.

Hap pas hapi

  1. 1

    Përgatitni URL-të e proxy-ve

    Konvertoni rreshtat tuaj ip:port:user:pass të ProxyV4 në http://user:pass@ip:port me konvertuesin e formatit të proxy-ve dhe ruajini në cilësime ose në një skedar.

  2. 2

    Krijoni ProxyPoolMiddleware

    Në middlewares.py, zbatoni process_request(self, request, spider) që të vendosë request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Regjistrojeni para atij të integruar

    Në settings.py, shtoni 'myproject.middlewares.ProxyPoolMiddleware': 740 te DOWNLOADER_MIDDLEWARES dhe vendosni CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Konfirmoni rrotullimin

    Merrni https://proxyv4.com/api/my-ip disa herë me scrapy shell ose me një spider të shkurtër testues dhe kontrolloni që IP-ja e raportuar të ndryshojë në të gjithë grupin tuaj.

Pyetjet e shpeshta

Middleware-i im i proxy-t me prioritet 800 merr gabime 407. Pse?

Në 800 ai ekzekutohet pas HttpProxyMiddleware (750), prandaj user:pass në URL-në tuaj të proxy-t nuk shndërrohet kurrë në një header Proxy-Authorization. Zhvendoseni middleware-in tuaj nën 750, p.sh. 740.

A mund ta vendos proxy-n vetëm për një kërkesë?

Po. Kaloni meta={'proxy': 'http://user:pass@ip:port'} kur krijoni Request; middleware-i i integruar menaxhon hyrjen vetëm për atë kërkesë.

A do të arrijë një crawl me miliona faqe një kufi të gjerësisë së brezit?

Jo me proxy privatë IPv4 ose ISP statikë të ProxyV4; të dy kanë gjerësi brezi të pakufizuar. Kufiri praktik është thjesht se sa shpejt ju lejon objektivi të bëni crawl.

Burimet

IP statike pa matje trafiku për crawl me Scrapy

IPv4 private në 7 shtete plus ISP statike në SHBA dhe Vietnam, nga një IP e vetme deri në një grup të madh, me çmime të drejtpërdrejta sipas vëllimit.

Shikoni çmimet aktuale për SHBA

Related articles

Proxy sipas platformës
Proxy për web scraping: grup fiks IP-sh me trafik të pakufizuar
Proxy për web scraping për Python, Scrapy, Playwright e Selenium: adresat private IPv4 dhe ISP statike, brez i pakufizuar, çmim fiks për çdo IP.
Konfigurimi i proxy-t
Kërkesat Python requests përmes një proxy të autentikuar, hap pas hapi
Dërgoni kërkesa Python me proxy HTTP(S) të autentikuar: krijoni fjalorin proxies, lidheni me Session, kodoni fjalëkalimet, alternoni listën dhe shihni IP-në.
Konfigurimi i proxy-t
Autentikimi i proxy-t në Playwright, një IP statike për kontekst
Jepini çdo konteksti Playwright një proxy HTTP(S) të autentikuar në Node.js ose Python, përshtatni zonën kohore e gjuhën me IP-në dhe konfirmoni adresën dalëse.
Vegla falas
Riformatoni listën e proxy-ve në formatin që kërkon mjeti juaj
Konvertoni lista proxy në shfletues midis ip:port:user:pass, user:pass@ip:port, URL-ve http://, URI-ve SOCKS5, vargjeve JSON dhe skedarëve FoxyProxy, në masë.
Proxy sipas platformës
Proxy për ndjekjen e renditjes SEO: shikoni faqen e rezultateve siç e sheh një kërkues lokal
Proxy për SEO me IPv4 private në SHBA, MB, Vietnam, Japoni e 4 tregje të tjera, që renditjet, paketat lokale e reklamat të përputhen me çfarë shohin vendasit.
Proxy sipas platformës
Proxy për shitësit në Amazon që i japin çdo llogarie një adresë të përhershme
Proxy Amazon për Seller Central, KDP e Merch: ISP statike në SHBA ose IPv4 private në MB/Japoni për llogari, me qira vetëm për ju dhe që ruhet në rinovim.
IPV4 · united states
Pool Proxy Privat IPv4 në SHBA për Scraping, Monitorim Renditjeje dhe Kontroll Reklamash
Blini proxy privatë IPv4 në SHBA: IP statike datacenter, një klient për IP, trafik i pakufizuar. Për scraping, ndjekje SERP dhe verifikim reklamash në SHBA.
IPV4 · united kingdom
Proxy Privat IPv4 i Britanisë së Madhe për Tregje Online, Kërkim dhe Fushata
Proxy privat IPv4 në MB me IP statike britanike datacenter me qira për një klient, për kërkime në eBay UK e Amazon.co.uk, google.co.uk dhe reklama në MB.