ProxyV4

Scrapy проксији: meta['proxy'], редослед middleware-а и ротација

· Updated:

У Scrapy-ју, прокси се поставља по захтеву преко request.meta['proxy'] = 'http://user:pass@ip:port', а уграђени HttpProxyMiddleware (редослед 750) претвара део user:pass у заглавље Proxy-Authorization. Додајте мали downloader middleware који се извршава пре њега, на 740, и сваки захтев који ваш паук генерише моћи ће да изабере IP из вашег ProxyV4 пула.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Приватни IPv4 (дата-центар)
🇺🇸 Сједињене Америчке Државе
На стању
Од
1,10 US$ / IP / месечно
Попусти на количину
  • 1 IP1,85 US$
  • 3+ IP адреса1,70 US$
  • 10+ IP адреса1,60 US$
  • 25+ IP адреса1,50 US$
  • 50+ IP адреса1,40 US$
  • 100+ IP адреса1,30 US$
  • 200+ IP адреса1,20 US$
  • 500+ IP адреса1,10 US$
Купи Сједињене Америчке Државе
Приватни IPv4 (дата-центар)
🇬🇧 Уједињено Краљевство
На стању
Од
1,10 US$ / IP / месечно
Попусти на количину
  • 1 IP1,85 US$
  • 3+ IP адреса1,70 US$
  • 10+ IP адреса1,60 US$
  • 25+ IP адреса1,50 US$
  • 50+ IP адреса1,40 US$
  • 100+ IP адреса1,30 US$
  • 200+ IP адреса1,20 US$
  • 500+ IP адреса1,10 US$
Купи Уједињено Краљевство
Проксији према платформи:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Зашто је број middleware-а важан

Downloader middleware-и се при слању захтева извршавају у растућем редоследу. HttpProxyMiddleware са бројем 750 чита meta['proxy'], уклања акредитиве из URL-а и уписује заглавље за аутентификацију. Ако ваш middleware постави прокси након тога, на пример на 800, уграђени је већ извршен, акредитиви се никада не конвертују и прокси одговара са 407. Регистровањем вашег на 740 постављате га на прво место.

ПодешавањеПредложена вредностЕфекат
request.meta['proxy']'http://user:pass@ip:port'Шаље тај захтев преко наведеног ProxyV4 проксија
Редослед вашег middleware-а740Извршава се пре HttpProxyMiddleware (750), па су подаци за пријаву кодирани
CONCURRENT_REQUESTS_PER_IP2 до 4Ограничава паралелне захтеве по циљној IP адреси, што представља учтиво ограничење оптерећења сваког сервера
AUTOTHROTTLE_ENABLEDTrueОмогућава Scrapy-ју да продужи или скрати паузе у зависности од тога колико брзо циљни сервер одговара

Преглед middleware-а за ротацију

  • Учитајте листу проксија из подешавања у from_crawler() и сачувајте је у инстанци middleware-а
  • У process_request(), доделите request.meta['proxy'] = random.choice(self.proxies) осим ако захтев већ не садржи прокси
  • Када одговор врати 429 или 503, поновите захтев користећи други прокси из пула уместо оног који је управо одбијен
  • Комбинујте DOWNLOAD_DELAY = 1.0 са RANDOMIZE_DOWNLOAD_DELAY = True како би размак између захтева варирао уместо да откуцава као метроном

Одређивање величине пула

Scrapy пузање може слати велики број захтева у минуту, па број IP адреса одређује колико се свака од њих умерено користи. Уз ProxyV4 нема минималне поруџбине, а цена по IP адреси опада како количина расте; уз то, приватни IPv4 саобраћај се не мери, па велики crawl троши исто као и мали што се тиче протока. Сваку IP адресу користи искључиво један корисник, па њена репутација одражава само ваше пузање и ничије друго. За планирање обима и умерености слања захтева, погледајте водич за web scraping.

Корак по корак

  1. 1

    Припремите URL-ове проксија

    Претворите своје ProxyV4 ip:port:user:pass линије у http://user:pass@ip:port помоћу конвертора формата проксија и сачувајте их у подешавањима или датотеци.

  2. 2

    Напишите ProxyPoolMiddleware

    У middlewares.py, имплементирајте process_request(self, request, spider) тако да постави request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Региструјте га пре уграђеног

    У settings.py, додајте 'myproject.middlewares.ProxyPoolMiddleware': 740 у DOWNLOADER_MIDDLEWARES и поставите CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Потврдите ротацију

    Пошаљите захтев ка https://proxyv4.com/api/my-ip неколико пута помоћу scrapy shell или кратког тест паука и проверите да ли се пријављена IP адреса мења кроз ваш пул.

Често постављана питања

Мој proxy middleware са приоритетом 800 добија грешке 407. Зашто?

На 800 се извршава после HttpProxyMiddleware (750), па се user:pass у вашем URL-у проксија никада не претвара у заглавље Proxy-Authorization. Померите свој middleware испред 750, нпр. на 740.

Могу ли да поставим прокси за само један захтев?

Да. Проследите meta={'proxy': 'http://user:pass@ip:port'} када креирате Request; уграђени middleware обрађује пријаву само за тај захтев.

Да ли ће crawl са милионима страница достићи ограничење протока?

Не на ProxyV4 приватним IPv4 или статичким ISP проксијима; оба имају неограничен проток. Практично ограничење је брзина којом вам циљни сајт дозвољава да пузите.

Извори

Неограничене статичке IP адресе за Scrapy пузање

Приватни IPv4 у 7 земаља плус статички ISP у САД и Вијетнаму, од једне IP адресе до великог пула, уз цене према количини у реалном времену.

Погледајте тренутне цене за САД

Related articles

Проксији према платформи
Проксији за web scraping: фиксни пул IP адреса са неограниченим протоком
Проксији за web scraping за Python, Scrapy, Playwright и Selenium: пул приватних IPv4 и статичких ISP адреса, неограничен проток и фиксна цена по IP адреси.
Подешавање проксија
Python requests преко аутентификованог проксија, корак по корак
Шаљите Python захтеве кроз аутентификовани HTTP(S) прокси: направите proxies речник, вежите за Session, кодирајте лозинке, ротирајте листу и проверите IP.
Подешавање проксија
Аутентификација Playwright проксија, једна статичка IP адреса по контексту
Доделите сваком Playwright контексту аутентификовани HTTP(S) прокси у Node.js или Python-у, ускладите временску зону и локалитет и потврдите излазну адресу.
Бесплатне алатке
Претворите прокси листу у формат који ваш алат очекује
Масовно конвертујте прокси листе у прегледачу: ip:port:user:pass, user:pass@ip:port, http:// URL-ови, SOCKS5 URI-ји, JSON низови и фајлови за FoxyProxy.
Проксији према платформи
Проксији за праћење SEO рангирања: погледајте страницу резултата коју види локални корисник
SEO проксији за праћење рангирања уз приватни IPv4 у САД, УК, Вијетнаму, Јапану и 4 тржишта: рангирање, локални пакети и огласи одговарају локалном приказу.
Проксији према платформи
Amazon проксији за продавце који сваком налогу дају трајну адресу
Amazon проксији за продавце за Seller Central, KDP и Merch: статички US ISP или UK/Japan приватни IPv4 по налогу, изнајмљен само вама и исти при обнови.
IPV4 · united states
Пул приватних IPv4 проксија у САД за прикупљање података, праћење рангирања и проверу огласа
Купите приватне US IPv4 проксије: статичке америчке датацентар IP адресе, један корисник по IP-ју, неограничен проток. За скрејпинг, SERP и проверу US огласа.
IPV4 · united kingdom
Приватни IPv4 прокси у Великој Британији за онлајн тржишта, претрагу и кампање
Приватни UK IPv4 прокси са статичком британском датацентар IP адресом за једног корисника, за eBay UK и Amazon.co.uk, праћење google.co.uk и проверу UK огласа.