Scrapy proksiləri: meta['proxy'], middleware ardıcıllığı və rotasiya
ProxyV4 Mühəndislik Komandası tərəfindən · Updated:
Scrapy-də proksi hər sorğu üçün request.meta['proxy'] = 'http://user:pass@ip:port' vasitəsilə təyin edilir və daxili HttpProxyMiddleware (ardıcıllıq 750) user:pass hissəsini Proxy-Authorization başlığına çevirir. Ondan əvvəl, 740 nömrəsində çalışan kiçik bir yükləyici middleware əlavə edin və spider-inizin göndərdiyi hər bir sorğu ProxyV4 hovuzunuzdan bir IP seçə bilsin.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Middleware nömrəsi nə üçün vacibdir
Yükləyici middleware-lər çıxış zamanı artan ardıcıllıqla işə düşür. 750 nömrəli HttpProxyMiddleware meta['proxy'] dəyərini oxuyur, giriş məlumatlarını URL-dən silir və auth başlığını yazır. Əgər sizin fərdi middleware-iniz proksini sonradan, məsələn 800 nömrəsində təyin edərsə, daxili middleware artıq işləmiş olur, giriş məlumatları heç vaxt çevrilmir və proksi 407 xətası qaytarır. Öz middleware-inizi 740 olaraq qeydiyyatdan keçirmək onu birinci sıraya qoyur.
| Parametr | Tövsiyə olunan dəyər | Təsiri |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Həmin sorğunu göstərilən ProxyV4 proksisi vasitəsilə göndərir |
| Middleware ardıcıllığınız | 740 | HttpProxyMiddleware (750) öncə çalışır, beləliklə giriş məlumatları kodlaşdırılır |
CONCURRENT_REQUESTS_PER_IP | 2 - 4 | Hədəf IP başına paralel sorğuları məhdudlaşdırır; hər serverə düşən yükü tənzimləyən nəzakətli limit |
AUTOTHROTTLE_ENABLED | True | Hədəfin nə qədər tez cavab verməsindən asılı olaraq Scrapy-nin gecikmələri artırıb-azaltmasına imkan verir |
Rotasiya middleware-nin qısa icmalı
from_crawler()daxilində tənzimləmələrdən proksi siyahısını oxuyun və onu middleware nümunəsində saxlayın- Əgər sorğuda artıq proksi yoxdursa,
process_request()daxilindərequest.meta['proxy'] = random.choice(self.proxies)təyin edin - Cavab
429və ya503olaraq qayıtdıqda, indicə rədd edilmiş proksi əvəzinə hovuzdakı başqa bir proksi ilə sorğunu yenidən cəhd edin DOWNLOAD_DELAY = 1.0parametriniRANDOMIZE_DOWNLOAD_DELAY = Trueilə birləşdirin ki, sorğular arasındakı fasilə metronom kimi sabit deyil, dəyişkən olsun
Hovuzun ölçüsünün müəyyənləşdirilməsi
Scrapy kroulinqi dəqiqədə çoxlu sayda sorğu göndərə bilər, buna görə də IP-lərin sayı hər birindən nə dərəcədə ehtiyatla istifadə olunduğunu müəyyən edir. ProxyV4 ilə minimum sifariş tələbi yoxdur, say artdıqca IP başına qiymət düşür və fərdi IPv4 trafiki məhdudiyyətsizdir; buna görə də trafik baxımından böyük bir kroulinq kiçik olanla eyni xərcə başa gəlir. Hər bir IP yalnız bir müştəri tərəfindən istifadə olunur, buna görə də onun reputasiyası başqasının deyil, yalnız sizin kroulinqinizi əks etdirir. Kroulinq həcmini və sorğu nəzakətini planlaşdırmaq üçün veb-skreypinq bələdçisi bölməsinə baxın.
Addım-addım
- 1
Proksi URL-lərini hazırlayın
ProxyV4 tərəfindən verilən
ip:port:user:passsətirlərini proksi format çeviricisi iləhttp://user:pass@ip:portformatına çevirin və onları tənzimləmələrdə və ya faylda saxlayın. - 2
ProxyPoolMiddleware yazın
middlewares.pyfaylındaprocess_request(self, request, spider)metodunu elə tətbiq edin ki,request.meta['proxy'] = random.choice(self.proxies)təyin etsin. - 3
Onu daxili middleware-dən əvvəl qeydiyyatdan keçirin
settings.pyfaylında'myproject.middlewares.ProxyPoolMiddleware': 740sətriniDOWNLOADER_MIDDLEWARESsiyahısına əlavə edin vəCONCURRENT_REQUESTS_PER_IP = 2təyin edin. - 4
Rotasiyanı təsdiqləyin
scrapy shellvə ya qısa bir test spider-i iləhttps://proxyv4.com/api/my-ipünvanına bir neçə dəfə sorğu göndərin və bildirilən IP-nin hovuzunuz üzrə dəyişdiyini yoxlayın.
Tez-tez verilən suallar
800 prioritetində olan proksi middleware-im 407 xətası alır. Niyə?
800 nömrəsində o, HttpProxyMiddleware (750) middleware-dən sonra işə düşür, buna görə də proksi URL-inizdəki user:pass heç vaxt Proxy-Authorization başlığına çevrilmir. Middleware-inizi 750-dən aşağıya, məsələn 740-a köçürün.
Proksini yalnız tək bir sorğu üçün təyin edə bilərəmmi?
Bəli. Request obyektini yaradarkən meta={'proxy': 'http://user:pass@ip:port'} ötürün; daxili middleware yalnız həmin sorğu üçün giriş prosesini həyata keçirəcək.
Milyonlarla səhifəlik kroulinq trafik limitinə çatacaq?
ProxyV4 fərdi IPv4 və ya statik ISP proksilərində xeyr; hər ikisində qeyri-məhdud trafik var. Praktiki limit hədəfin nə dərəcədə sürətlə kroulinq etməyinizə icazə verməsidir.
Mənbələr
Scrapy kroulinqləri üçün limitsiz statik IP-lər
7 ölkədə fərdi IPv4, üstəlik ABŞ və Vyetnamda statik ISP, tək bir IP-dən böyük hovuza qədər, canlı həcm qiymətləri ilə.
ABŞ üzrə canlı qiymətlərə baxın