ProxyV4

Scrapy проксилері: meta['proxy'], middleware реті және ротация

· Updated:

Scrapy-де прокси әр сұраныс үшін request.meta['proxy'] = 'http://user:pass@ip:port' арқылы орнатылады, ал кірістірілген HttpProxyMiddleware (реті 750) user:pass бөлігін Proxy-Authorization тақырыбына түрлендіреді. Оның алдында 740 ретімен орындалатын шағын downloader middleware қоссаңыз, спайдеріңіз жіберетін әрбір сұраныс ProxyV4 пулынан IP ала алады.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Жеке IPv4 (дата-орталық)
🇺🇸 АҚШ
Қолжетімді
Бастап
1,10 $ / IP / айына
Көлемдік жеңілдіктер
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
АҚШ сатып алу
Жеке IPv4 (дата-орталық)
🇬🇧 Ұлыбритания
Қолжетімді
Бастап
1,10 $ / IP / айына
Көлемдік жеңілдіктер
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Ұлыбритания сатып алу
Платформаларға арналған проксилер:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Middleware реттік нөмірі неліктен маңызды

Downloader middleware компоненттері сұраныс жіберу кезінде өсу ретімен орындалады. 750 ретіндегі HttpProxyMiddleware meta['proxy'] мәнін оқиды, URL мекенжайынан тіркелгі деректерін алып тастап, auth тақырыбын жазады. Егер сіздің жеке middleware проксиді одан кейін, мысалы 800 ретімен орнатса, кірістірілген модуль орындалып қойғандықтан, деректер ешқашан түрленбейді және прокси 407 қатесін қайтарады. Өз компонентіңізді 740 ретімен тіркеу оны бірінші орынға шығарады.

ПараметрҰсынылатын мәнӘсері
request.meta['proxy']'http://user:pass@ip:port'Бұл сұранысты көрсетілген ProxyV4 проксиі арқылы жібереді
Middleware реті740HttpProxyMiddleware (750) алдында орындалады, сондықтан логин кодталады
CONCURRENT_REQUESTS_PER_IP2 to 4Мақсатты IP-ге келетін параллель сұраныстарды шектейді, бұл серверге түсетін жүктемені ұқыпты түрде шектеу болып табылады
AUTOTHROTTLE_ENABLEDTrueScrapy-ге мақсатты сервердің жауап беру жылдамдығына байланысты кідірістерді ұзартуға немесе азайтуға мүмкіндік береді

Ротация middleware құрылымы

  • from_crawler() ішінде баптаулардан проксилер тізімін оқып, оны middleware данасында сақтаңыз
  • process_request() ішінде, егер сұраныста прокси болмаса, request.meta['proxy'] = random.choice(self.proxies) мәнін тағайындаңыз
  • Жауап 429 немесе 503 кодымен қайтқан кезде, сұраныстан бас тартқан проксидің орнына пулдан басқа проксиді таңдап, қайталап көріңіз
  • Сұраныстар арасындағы үзіліс метроном сияқты біркелкі болмай, құбылып тұруы үшін DOWNLOAD_DELAY = 1.0 мен RANDOMIZE_DOWNLOAD_DELAY = True параметрлерін біріктіріңіз

Пул өлшемін таңдау

Scrapy скрапингі минутына көптеген сұраныс жібере алады, сондықтан IP мекенжайларының саны әрқайсысының қаншалықты ұқыпты пайдаланылатынын анықтайды. ProxyV4 жүйесінде ең төменгі тапсырыс шегі жоқ және IP саны көбейген сайын бір дананың бағасы төмендейді, сондай-ақ жеке IPv4 трафигі шектелмейді, сондықтан өткізу қабілеті бойынша үлкен скрапинг шағын скрапингпен бірдей тұрады. Әрбір IP-ді тек бір тұтынушы пайдаланады, сондықтан оның беделі басқа ешкімнің емес, тек өзіңіздің скрапингіңізге байланысты болады. Скрапинг көлемі мен жиілігін жоспарлау үшін web scraping guide нұсқаулығын қараңыз.

Қадамдық нұсқаулық

  1. 1

    Прокси URL мекенжайларын дайындаңыз

    ProxyV4 ұсынған ip:port:user:pass жолдарын proxy format converter арқылы http://user:pass@ip:port түріне түрлендіріп, оларды баптауларда немесе файлда сақтаңыз.

  2. 2

    ProxyPoolMiddleware жазыңыз

    middlewares.py файлында process_request(self, request, spider) әдісін request.meta['proxy'] = random.choice(self.proxies) мәнін орнататындай етіп жүзеге асырыңыз.

  3. 3

    Оны кірістірілген модульден бұрын тіркеңіз

    settings.py файлында DOWNLOADER_MIDDLEWARES тізіміне 'myproject.middlewares.ProxyPoolMiddleware': 740 қосып, CONCURRENT_REQUESTS_PER_IP = 2 мәнін орнатыңыз.

  4. 4

    Ротацияны тексеріңіз

    scrapy shell немесе қысқа сынақ спайдері арқылы https://proxyv4.com/api/my-ip мекенжайына бірнеше рет сұраныс жіберіп, көрсетілетін IP пулыңызда өзгеріп отыратынына көз жеткізіңіз.

Жиі қойылатын сұрақтар

800 басымдығындағы прокси middleware 407 қателерін алады. Неліктен?

800 мәнінде ол HttpProxyMiddleware (750) кейін орындалады, сондықтан прокси URL мекенжайындағы user:pass ешқашан Proxy-Authorization тақырыбына айналмайды. Middleware басымдығын 750-ден төмен, мысалы 740-қа ауыстырыңыз.

Проксиді тек бір ғана сұраныс үшін орнатуға бола ма?

Иә. Request жасаған кезде meta={'proxy': 'http://user:pass@ip:port'} мәнін беріңіз; кірістірілген middleware аутентификацияны тек сол сұраныс үшін өңдейді.

Миллиондаған бетті скрапингтеу трафик лимитіне тіреле ме?

ProxyV4 жеке IPv4 немесе статикалық ISP проксилерінде олай болмайды; екеуінде де шектеусіз трафик қарастырылған. Нақты шектеу — мақсатты сервердің скрапингке қаншалықты жылдам рұқсат беретініне байланысты.

Дереккөздер

Scrapy скрапингіне арналған трафигі шектелмеген статикалық IP-лер

7 елдегі жеке IPv4 және АҚШ пен Вьетнамдағы статикалық ISP, бір IP-ден бастап үлкен пулға дейін, нақты көлемге байланысты бағалармен.

АҚШ бойынша өзекті бағаларды тексеру

Related articles

Платформаларға арналған проксилер
Веб-скрейпингке арналған проксилер: шексіз трафигі бар бекітілген IP пулы
Python, Scrapy, Playwright және Selenium үшін веб-скрейпинг проксилері: жеке IPv4 және статикалық ISP пулы, шексіз трафик, әр IP үшін бекітілген баға.
Проксиді баптау
Python requests аутентификацияланған прокси арқылы, қадам бойынша
Python сұрауларын аутентификацияланған HTTP(S) прокси арқылы жіберіңіз: proxies жасау, Session-ге қосу, құпия сөзді кодтау, тізімді ауыстыру, IP тексеру.
Проксиді баптау
Playwright прокси аутентификациясы: әр контекстке бір статикалық IP
Node.js немесе Python-да әр Playwright контекстіне аутентификациялы HTTP(S) прокси беріңіз, уақыт пен тілді IP-ге сай етіп, шығыс мекенжайды тексеріңіз.
Тегін құралдар
Прокси тізімін құралыңыз күтетін форматқа қайта жазыңыз
Браузерде прокси тізімін ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON массиві мен FoxyProxy импорт файлы арасында жаппай түрлендіріңіз.
Платформаларға арналған проксилер
SEO позицияларын бақылауға арналған проксилер: жергілікті іздеуші көретін нәтижелер беті
Позициялар, жергілікті топтама мен жарнама тұрғындар көретіндей болуы үшін АҚШ, Ұлыбритания, Вьетнам, Жапония және тағы 4 нарықтағы жеке IPv4 SEO проксилері.
Платформаларға арналған проксилер
Әр аккаунтқа тұрақты мекенжай беретін Amazon сатушы проксилері
Amazon сатушы проксилері (Seller Central, KDP, Merch): әр аккаунтқа АҚШ статикалық ISP не Ұлыбритания/Жапония жеке IPv4, тек сізге беріліп, ұзартуда сақталады.
IPV4 · united states
Скрейпинг, позицияларды бақылау және жарнаманы тексеруге арналған АҚШ-тың жеке IPv4 прокси пулы
АҚШ жеке IPv4 проксилерін сатып алыңыз: статикалық америкалық ДЦ IP, бір клиентке бір IP, шексіз трафик. Скрейпинг, SERP және АҚШ жарнамасын тексеру үшін.
IPV4 · united kingdom
Маркетплейстер, іздеу және науқандарға арналған Ұлыбританияның жеке IPv4 проксиі
Бір қолданушыға арналған Ұлыбританияның статикалық дата-орталық IPv4 проксиі: eBay UK, Amazon.co.uk талдау, google.co.uk бақылау және жарнама тексеру.