Scrapy проксилері: meta['proxy'], middleware реті және ротация
ProxyV4 инженерлік тобынан · Updated:
Scrapy-де прокси әр сұраныс үшін request.meta['proxy'] = 'http://user:pass@ip:port' арқылы орнатылады, ал кірістірілген HttpProxyMiddleware (реті 750) user:pass бөлігін Proxy-Authorization тақырыбына түрлендіреді. Оның алдында 740 ретімен орындалатын шағын downloader middleware қоссаңыз, спайдеріңіз жіберетін әрбір сұраныс ProxyV4 пулынан IP ала алады.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
Middleware реттік нөмірі неліктен маңызды
Downloader middleware компоненттері сұраныс жіберу кезінде өсу ретімен орындалады. 750 ретіндегі HttpProxyMiddleware meta['proxy'] мәнін оқиды, URL мекенжайынан тіркелгі деректерін алып тастап, auth тақырыбын жазады. Егер сіздің жеке middleware проксиді одан кейін, мысалы 800 ретімен орнатса, кірістірілген модуль орындалып қойғандықтан, деректер ешқашан түрленбейді және прокси 407 қатесін қайтарады. Өз компонентіңізді 740 ретімен тіркеу оны бірінші орынға шығарады.
| Параметр | Ұсынылатын мән | Әсері |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Бұл сұранысты көрсетілген ProxyV4 проксиі арқылы жібереді |
| Middleware реті | 740 | HttpProxyMiddleware (750) алдында орындалады, сондықтан логин кодталады |
CONCURRENT_REQUESTS_PER_IP | 2 to 4 | Мақсатты IP-ге келетін параллель сұраныстарды шектейді, бұл серверге түсетін жүктемені ұқыпты түрде шектеу болып табылады |
AUTOTHROTTLE_ENABLED | True | Scrapy-ге мақсатты сервердің жауап беру жылдамдығына байланысты кідірістерді ұзартуға немесе азайтуға мүмкіндік береді |
Ротация middleware құрылымы
from_crawler()ішінде баптаулардан проксилер тізімін оқып, оны middleware данасында сақтаңызprocess_request()ішінде, егер сұраныста прокси болмаса,request.meta['proxy'] = random.choice(self.proxies)мәнін тағайындаңыз- Жауап
429немесе503кодымен қайтқан кезде, сұраныстан бас тартқан проксидің орнына пулдан басқа проксиді таңдап, қайталап көріңіз - Сұраныстар арасындағы үзіліс метроном сияқты біркелкі болмай, құбылып тұруы үшін
DOWNLOAD_DELAY = 1.0менRANDOMIZE_DOWNLOAD_DELAY = Trueпараметрлерін біріктіріңіз
Пул өлшемін таңдау
Scrapy скрапингі минутына көптеген сұраныс жібере алады, сондықтан IP мекенжайларының саны әрқайсысының қаншалықты ұқыпты пайдаланылатынын анықтайды. ProxyV4 жүйесінде ең төменгі тапсырыс шегі жоқ және IP саны көбейген сайын бір дананың бағасы төмендейді, сондай-ақ жеке IPv4 трафигі шектелмейді, сондықтан өткізу қабілеті бойынша үлкен скрапинг шағын скрапингпен бірдей тұрады. Әрбір IP-ді тек бір тұтынушы пайдаланады, сондықтан оның беделі басқа ешкімнің емес, тек өзіңіздің скрапингіңізге байланысты болады. Скрапинг көлемі мен жиілігін жоспарлау үшін web scraping guide нұсқаулығын қараңыз.
Қадамдық нұсқаулық
- 1
Прокси URL мекенжайларын дайындаңыз
ProxyV4 ұсынған
ip:port:user:passжолдарын proxy format converter арқылыhttp://user:pass@ip:portтүріне түрлендіріп, оларды баптауларда немесе файлда сақтаңыз. - 2
ProxyPoolMiddleware жазыңыз
middlewares.pyфайлындаprocess_request(self, request, spider)әдісінrequest.meta['proxy'] = random.choice(self.proxies)мәнін орнататындай етіп жүзеге асырыңыз. - 3
Оны кірістірілген модульден бұрын тіркеңіз
settings.pyфайлындаDOWNLOADER_MIDDLEWARESтізіміне'myproject.middlewares.ProxyPoolMiddleware': 740қосып,CONCURRENT_REQUESTS_PER_IP = 2мәнін орнатыңыз. - 4
Ротацияны тексеріңіз
scrapy shellнемесе қысқа сынақ спайдері арқылыhttps://proxyv4.com/api/my-ipмекенжайына бірнеше рет сұраныс жіберіп, көрсетілетін IP пулыңызда өзгеріп отыратынына көз жеткізіңіз.
Жиі қойылатын сұрақтар
800 басымдығындағы прокси middleware 407 қателерін алады. Неліктен?
800 мәнінде ол HttpProxyMiddleware (750) кейін орындалады, сондықтан прокси URL мекенжайындағы user:pass ешқашан Proxy-Authorization тақырыбына айналмайды. Middleware басымдығын 750-ден төмен, мысалы 740-қа ауыстырыңыз.
Проксиді тек бір ғана сұраныс үшін орнатуға бола ма?
Иә. Request жасаған кезде meta={'proxy': 'http://user:pass@ip:port'} мәнін беріңіз; кірістірілген middleware аутентификацияны тек сол сұраныс үшін өңдейді.
Миллиондаған бетті скрапингтеу трафик лимитіне тіреле ме?
ProxyV4 жеке IPv4 немесе статикалық ISP проксилерінде олай болмайды; екеуінде де шектеусіз трафик қарастырылған. Нақты шектеу — мақсатты сервердің скрапингке қаншалықты жылдам рұқсат беретініне байланысты.
Дереккөздер
Scrapy скрапингіне арналған трафигі шектелмеген статикалық IP-лер
7 елдегі жеке IPv4 және АҚШ пен Вьетнамдағы статикалық ISP, бір IP-ден бастап үлкен пулға дейін, нақты көлемге байланысты бағалармен.
АҚШ бойынша өзекті бағаларды тексеру