ProxyV4

Проксі ў Scrapy: meta['proxy'], парадак middleware і ратацыя

· Updated:

У Scrapy проксі задаецца для кожнага запыту праз request.meta['proxy'] = 'http://user:pass@ip:port', а ўбудаваны HttpProxyMiddleware (парадак 750) пераўтварае частку user:pass у загаловак Proxy-Authorization. Дадайце невялікі downloader middleware, які працуе перад ім, на ўзроўні 740, і кожны запыт вашага спайдэра зможа выбіраць IP з вашага пула ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Прыватныя IPv4 (датацэнтр)
🇺🇸 Злучаныя Штаты
У наяўнасці
Ад
1,10 $ / IP / месяц
Зніжкі за аб'ём
  • 1 IP1,85 $
  • Ад 3 IP1,70 $
  • Ад 10 IP1,60 $
  • Ад 25 IP1,50 $
  • Ад 50 IP1,40 $
  • Ад 100 IP1,30 $
  • Ад 200 IP1,20 $
  • Ад 500 IP1,10 $
Купіць Злучаныя Штаты
Прыватныя IPv4 (датацэнтр)
🇬🇧 Вялікабрытанія
У наяўнасці
Ад
1,10 $ / IP / месяц
Зніжкі за аб'ём
  • 1 IP1,85 $
  • Ад 3 IP1,70 $
  • Ад 10 IP1,60 $
  • Ад 25 IP1,50 $
  • Ад 50 IP1,40 $
  • Ад 100 IP1,30 $
  • Ад 200 IP1,20 $
  • Ад 500 IP1,10 $
Купіць Вялікабрытанія
Проксі паводле платформаў:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Чаму нумар middleware мае значэнне

Downloader middlewares выконваюцца ў парадку ўзрастання пры адпраўцы запытаў. HttpProxyMiddleware з прыярытэтам 750 счытвае meta['proxy'], выдаляе ўліковыя даныя з URL і запісвае загаловак аўтарызацыі. Калі ваш уласны middleware задае проксі пазней, напрыклад на 800, убудаваны кампанент ужо адпрацаваў, даныя аўтэнтыфікацыі не канвертуюцца, і проксі вяртае памылку 407. Рэгістрацыя вашага middleware на ўзроўні 740 ставіць яго на першае месца.

ПараметрРэкамендаванае значэннеЭфект
request.meta['proxy']'http://user:pass@ip:port'Накіроўвае гэты запыт праз пазначаны проксі ProxyV4
Парадак вашага middleware740Запускаецца перад HttpProxyMiddleware (750), таму даныя ўваходу паспяхова кадуюцца
CONCURRENT_REQUESTS_PER_IPад 2 да 4Абмяжоўвае паралельныя запыты да кожнага мэтавага IP — карэктны ліміт нагрузкі на кожны сервер
AUTOTHROTTLE_ENABLEDTrueДазваляе Scrapy павялічваць або памяншаць затрымкі ў залежнасці ад хуткасці адказу мэтавага сервера

Асноўныя прынцыпы middleware для ратацыі

  • Счытвайце спіс проксі з налад у from_crawler() і захоўвайце яго ў асобніку middleware
  • У process_request() прызначайце request.meta['proxy'] = random.choice(self.proxies), калі ў запыце ўжо не зададзены іншы проксі
  • Калі адказ вяртаецца з кодам 429 ці 503, паўтарыце запыт з іншым проксі з пула замест таго, які толькі што атрымаў адмову
  • Камбінуйце DOWNLOAD_DELAY = 1.0 з RANDOMIZE_DOWNLOAD_DELAY = True, каб інтэрвал паміж запытамі змяняўся, а не ішоў строга як па метраноме

Вызначэнне памеру пула

Краулінг у Scrapy можа генераваць шмат запытаў за хвіліну, таму колькасць IP вызначае, наколькі ашчадна выкарыстоўваецца кожны з іх. У ProxyV4 няма мінімальнага заказу, а цана за адзін IP зніжаецца з павелічэннем аб'ёму; пры гэтым трафік прыватных IPv4 не абмяжоўваецца, таму выдаткі на прапускную здольнасць для вялікага і малога скрапінгу аднолькавыя. Кожны IP выкарыстоўваецца толькі адным кліентам, таму яго рэпутацыя залежыць выключна ад вашага краўлінгу. Каб спланаваць аб'ём і карэктны тэмп запытаў, глядзіце кіраўніцтва па вэб-скрапінгу.

Крок за крокам

  1. 1

    Падрыхтуйце URL-адрасы проксі

    Канвертуйце радкі ip:port:user:pass ад ProxyV4 у фармат http://user:pass@ip:port з дапамогай канвертара фарматаў проксі і захавайце іх у наладах або ў файле.

  2. 2

    Напішыце ProxyPoolMiddleware

    У middlewares.py рэалізуйце process_request(self, request, spider), каб метад задаваў request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Зарэгіструйце яго перад убудаваным middleware

    У settings.py дадайце 'myproject.middlewares.ProxyPoolMiddleware': 740 у DOWNLOADER_MIDDLEWARES і задайце CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Праверце ратацыю

    Адпраўце некалькі запытаў да https://proxyv4.com/api/my-ip праз scrapy shell або тэставы спайдэр і пераканайцеся, што атрыманы IP змяняецца ў межах вашага пула.

Частыя пытанні

Мой proxy middleware з прыярытэтам 800 атрымлівае памылкі 407. Чаму?

На ўзроўні 800 ён запускаецца пасля HttpProxyMiddleware (750), таму user:pass у вашым URL проксі не пераўтвараецца ў загаловак Proxy-Authorization. Перанясіце ваш middleware ніжэй за 750, напрыклад на 740.

Ці магу я задаць проксі толькі для аднаго запыту?

Так. Перадайце meta={'proxy': 'http://user:pass@ip:port'} пры стварэнні Request; убудаваны middleware апрацуе аўтарызацыю толькі для гэтага запыту.

Ці будзе вычарпаны ліміт трафіку пры скрапінгу мільёнаў старонак?

Не, прыватныя IPv4 і статычныя ISP проксі ад ProxyV4 маюць неабмежаваны трафік. Адзінае практычнае абмежаванне — гэта тое, наколькі хутка мэтавы сайт дазваляе збіраць даныя.

Крыніцы

Статычныя IP без абмежавання трафіку для Scrapy

Прыватныя IPv4 у 7 краінах і статычныя ISP у ЗША і В'етнаме: ад аднаго IP да вялікага пула з аўтаматычнымі зніжкамі за аб'ём.

Паглядзець актуальныя цэны для ЗША

Related articles

Проксі паводле платформаў
Проксі для вэб-скрэйпінгу: фіксаваны пул IP з неабмежаваным трафікам
Проксі для вэб-скрэйпінгу на Python, Scrapy, Playwright і Selenium: пул прыватных IPv4 і статычных ISP-адрасоў, безлімітны трафік, фіксаваная цана за IP.
Налада проксі
Запыты Python праз проксі з аўтэнтыфікацыяй: крок за крокам
Адпраўляйце запыты Python праз HTTP(S)-проксі з аўтэнтыфікацыяй: збярыце слоўнік proxies, дадайце ў Session, кадуйце паролі, ратуйце спіс і праверце свой IP.
Налада проксі
Аўтэнтыфікацыя проксі ў Playwright: адзін статычны IP на кантэкст
Дадавайце HTTP(S)-проксі з аўтэнтыфікацыяй для кожнага кантэксту Playwright у Node.js ці Python, падбірайце таймзону і лакаль пад IP і правярайце выхадны адрас.
Бясплатныя інструменты
Пераўтварыце спіс проксі ў фармат, неабходны вашаму інструменту
Канвертуйце спісы проксі ў браўзеры паміж ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, масівамі JSON і файламі імпарту FoxyProxy масава.
Проксі паводле платформаў
Проксі для SEO-трэкінгу: бачце старонку вынікаў такой, якой яе бачыць мясцовы карыстальнік
SEO-проксі з прыватнымі IPv4 у ЗША, Вялікабрытаніі, В'етнаме, Японіі і яшчэ 4 краінах: пазіцыі, лакальныя блокі і рэклама дакладна як у мясцовых жыхароў.
Проксі паводле платформаў
Проксі для прадаўцоў Amazon: пастаянны адрас для кожнага акаўнта
Проксі Amazon для Seller Central, KDP і Merch: статычны ISP ЗША ці прыватны IPv4 Вялікабрытаніі/Японіі. Арэнда ў адны рукі і захаванне пры падаўжэнні.
IPV4 · united states
Пул прыватных IPv4-проксі ЗША для скрапінгу, адсочвання пазіцый і праверкі рэкламы
Купляйце прыватныя IPv4-проксі ЗША: статычныя IP дата-цэнтраў, адзін кліент на IP, безлімітны трафік. Для скрапінгу, адсочвання SERP і праверкі рэкламы.
IPV4 · united kingdom
Прыватныя IPv4-проксі Вялікабрытаніі для маркетплэйсаў, пошуку і кампаній
Прыватны IPv4-проксі UK са статычным брытанскім датацэнтр-IP для аднаго кліента: аналіз eBay UK і Amazon.co.uk, трэкінг google.co.uk і праверка рэкламы ў UK.