ProxyV4

Scrapy proksiləri: meta['proxy'], middleware ardıcıllığı və rotasiya

· Updated:

Scrapy-də proksi hər sorğu üçün request.meta['proxy'] = 'http://user:pass@ip:port' vasitəsilə təyin edilir və daxili HttpProxyMiddleware (ardıcıllıq 750) user:pass hissəsini Proxy-Authorization başlığına çevirir. Ondan əvvəl, 740 nömrəsində çalışan kiçik bir yükləyici middleware əlavə edin və spider-inizin göndərdiyi hər bir sorğu ProxyV4 hovuzunuzdan bir IP seçə bilsin.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Fərdi IPv4 (data-mərkəz)
🇺🇸 Birləşmiş Ştatlar
Mövcuddur
Başlanğıc
1,10 US$ / IP / ay
Həcm endirimləri
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Birləşmiş Ştatlar al
Fərdi IPv4 (data-mərkəz)
🇬🇧 Böyük Britaniya
Mövcuddur
Başlanğıc
1,10 US$ / IP / ay
Həcm endirimləri
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Böyük Britaniya al

Middleware nömrəsi nə üçün vacibdir

Yükləyici middleware-lər çıxış zamanı artan ardıcıllıqla işə düşür. 750 nömrəli HttpProxyMiddleware meta['proxy'] dəyərini oxuyur, giriş məlumatlarını URL-dən silir və auth başlığını yazır. Əgər sizin fərdi middleware-iniz proksini sonradan, məsələn 800 nömrəsində təyin edərsə, daxili middleware artıq işləmiş olur, giriş məlumatları heç vaxt çevrilmir və proksi 407 xətası qaytarır. Öz middleware-inizi 740 olaraq qeydiyyatdan keçirmək onu birinci sıraya qoyur.

ParametrTövsiyə olunan dəyərTəsiri
request.meta['proxy']'http://user:pass@ip:port'Həmin sorğunu göstərilən ProxyV4 proksisi vasitəsilə göndərir
Middleware ardıcıllığınız740HttpProxyMiddleware (750) öncə çalışır, beləliklə giriş məlumatları kodlaşdırılır
CONCURRENT_REQUESTS_PER_IP2 - 4Hədəf IP başına paralel sorğuları məhdudlaşdırır; hər serverə düşən yükü tənzimləyən nəzakətli limit
AUTOTHROTTLE_ENABLEDTrueHədəfin nə qədər tez cavab verməsindən asılı olaraq Scrapy-nin gecikmələri artırıb-azaltmasına imkan verir

Rotasiya middleware-nin qısa icmalı

  • from_crawler() daxilində tənzimləmələrdən proksi siyahısını oxuyun və onu middleware nümunəsində saxlayın
  • Əgər sorğuda artıq proksi yoxdursa, process_request() daxilində request.meta['proxy'] = random.choice(self.proxies) təyin edin
  • Cavab 429 və ya 503 olaraq qayıtdıqda, indicə rədd edilmiş proksi əvəzinə hovuzdakı başqa bir proksi ilə sorğunu yenidən cəhd edin
  • DOWNLOAD_DELAY = 1.0 parametrini RANDOMIZE_DOWNLOAD_DELAY = True ilə birləşdirin ki, sorğular arasındakı fasilə metronom kimi sabit deyil, dəyişkən olsun

Hovuzun ölçüsünün müəyyənləşdirilməsi

Scrapy kroulinqi dəqiqədə çoxlu sayda sorğu göndərə bilər, buna görə də IP-lərin sayı hər birindən nə dərəcədə ehtiyatla istifadə olunduğunu müəyyən edir. ProxyV4 ilə minimum sifariş tələbi yoxdur, say artdıqca IP başına qiymət düşür və fərdi IPv4 trafiki məhdudiyyətsizdir; buna görə də trafik baxımından böyük bir kroulinq kiçik olanla eyni xərcə başa gəlir. Hər bir IP yalnız bir müştəri tərəfindən istifadə olunur, buna görə də onun reputasiyası başqasının deyil, yalnız sizin kroulinqinizi əks etdirir. Kroulinq həcmini və sorğu nəzakətini planlaşdırmaq üçün veb-skreypinq bələdçisi bölməsinə baxın.

Addım-addım

  1. 1

    Proksi URL-lərini hazırlayın

    ProxyV4 tərəfindən verilən ip:port:user:pass sətirlərini proksi format çeviricisi ilə http://user:pass@ip:port formatına çevirin və onları tənzimləmələrdə və ya faylda saxlayın.

  2. 2

    ProxyPoolMiddleware yazın

    middlewares.py faylında process_request(self, request, spider) metodunu elə tətbiq edin ki, request.meta['proxy'] = random.choice(self.proxies) təyin etsin.

  3. 3

    Onu daxili middleware-dən əvvəl qeydiyyatdan keçirin

    settings.py faylında 'myproject.middlewares.ProxyPoolMiddleware': 740 sətrini DOWNLOADER_MIDDLEWARES siyahısına əlavə edin və CONCURRENT_REQUESTS_PER_IP = 2 təyin edin.

  4. 4

    Rotasiyanı təsdiqləyin

    scrapy shell və ya qısa bir test spider-i ilə https://proxyv4.com/api/my-ip ünvanına bir neçə dəfə sorğu göndərin və bildirilən IP-nin hovuzunuz üzrə dəyişdiyini yoxlayın.

Tez-tez verilən suallar

800 prioritetində olan proksi middleware-im 407 xətası alır. Niyə?

800 nömrəsində o, HttpProxyMiddleware (750) middleware-dən sonra işə düşür, buna görə də proksi URL-inizdəki user:pass heç vaxt Proxy-Authorization başlığına çevrilmir. Middleware-inizi 750-dən aşağıya, məsələn 740-a köçürün.

Proksini yalnız tək bir sorğu üçün təyin edə bilərəmmi?

Bəli. Request obyektini yaradarkən meta={'proxy': 'http://user:pass@ip:port'} ötürün; daxili middleware yalnız həmin sorğu üçün giriş prosesini həyata keçirəcək.

Milyonlarla səhifəlik kroulinq trafik limitinə çatacaq?

ProxyV4 fərdi IPv4 və ya statik ISP proksilərində xeyr; hər ikisində qeyri-məhdud trafik var. Praktiki limit hədəfin nə dərəcədə sürətlə kroulinq etməyinizə icazə verməsidir.

Mənbələr

Scrapy kroulinqləri üçün limitsiz statik IP-lər

7 ölkədə fərdi IPv4, üstəlik ABŞ və Vyetnamda statik ISP, tək bir IP-dən böyük hovuza qədər, canlı həcm qiymətləri ilə.

ABŞ üzrə canlı qiymətlərə baxın

Related articles

Platformalar üzrə proksilər
Veb skreypinq üçün proksilər: limitsiz trafikli sabit IP hovuzu
Python, Scrapy, Playwright və Selenium üçün veb skreypinq proksiləri: fərdi IPv4 və statik ISP hovuzu, limitsiz trafik, sabit IP qiymətləri.
Proksi quraşdırılması
Autentifikasiyalı proksi ilə addım-addım Python requests
Python sorğularını autentifikasiyalı HTTP(S) proksi ilə göndərin: proxies lüğəti qurun, Session-a qoşun, parolu kodlaşdırın, siyahını dövr edin, IP-ni yoxlayın.
Proksi quraşdırılması
Playwright proksi autentifikasiyası, hər kontekstə bir statik IP
Node.js və ya Python-da hər Playwright kontekstinə autentifikasiyalı HTTP(S) proksi verin, saat və lokalı IP-yə uyğunlaşdırıb çıxış ünvanını təsdiqləyin.
Pulsuz alətlər
Proksi siyahısını alətinizin tələb etdiyi formata çevirin
Brauzerinizdə ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON massivləri və FoxyProxy idxal faylları arasında proksiləri toplu çevirin.
Platformalar üzrə proksilər
SEO sıralama izləmə proksiləri: yerli axtarış edənlərin gördüyü nəticələr səhifəsini görün
ABŞ, BK, Vyetnam, Yaponiya və 4 digər bazarda fərdi IPv4 ilə SEO izləmə proksiləri: sıralamalar, lokal paket və reklamlar yerlilərin gördüyü ilə eyni olur.
Platformalar üzrə proksilər
Hər hesaba daimi ünvan verən Amazon satıcı proksiləri
Seller Central, KDP və Merch üçün Amazon proksisi: hər hesaba yalnız sizə icarəyə verilən və yeniləndikdə qalan ABŞ statik ISP və ya BK/Yaponiya fərdi IPv4.
IPV4 · united states
Skreypinq, Mövqe İzləmə və Reklam Yoxlanışı üçün ABŞ Fərdi IPv4 Proksi Hovuzu
ABŞ fərdi IPv4 proksiləri alın: statik data mərkəzi IP-ləri, hər IP bir müştəriyə, limitsiz trafik. Skreypinq, SERP izləmə və ABŞ reklam yoxlamaları üçün.
IPV4 · united kingdom
Marketpleyslər, Axtarış və Kampaniyalar üçün Böyük Britaniya Fərdi IPv4 Proksisi
eBay UK, Amazon.co.uk tədqiqatı, google.co.uk və UK reklam yoxlanışı üçün tək müştəriyə verilən statik Britaniya data mərkəzi IP-li UK şəxsi IPv4 proksisi.