ProxyV4

Scrapy проксија: meta['proxy'], редослед на middleware и ротација

· Updated:

Во Scrapy, прокси се поставува по барање преку request.meta['proxy'] = 'http://user:pass@ip:port', а вградениот HttpProxyMiddleware (со редослед 750) го претвора делот user:pass во заглавие Proxy-Authorization. Додајте мал downloader middleware што се извршува пред него, на 740, и секое барање што го испраќа вашиот spider може да избере IP-адреса од вашиот ProxyV4 пул.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Приватен IPv4 (датацентар)
🇺🇸 Соединети Американски Држави
На залиха
Од
1,10 US$ / IP / месец
Попусти на количина
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Купи во Соединети Американски Држави
Приватен IPv4 (датацентар)
🇬🇧 Обединето Кралство
На залиха
Од
1,10 US$ / IP / месец
Попусти на количина
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Купи во Обединето Кралство
Проксија по платформа:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Зошто е важен бројот на middleware

Downloader middleware компонентите се извршуваат во растечки редослед при испраќањето. HttpProxyMiddleware на позиција 750 го чита meta['proxy'], ги отстранува акредитивите од URL-то и го запишува заглавието за автентикација. Ако вашиот сопствен middleware го постави проксито подоцна, на пример на 800, вградениот веќе се извршил, акредитивите никогаш не се конвертираат и проксито враќа 407. Со регистрирање на вашиот на 740, тој се извршува прв.

ПоставкаПрепорачана вредностЕфект
request.meta['proxy']'http://user:pass@ip:port'Го испраќа тоа барање преку наведеното ProxyV4 прокси
Редослед на вашиот middleware740Се извршува пред HttpProxyMiddleware (750), па најавата е кодирана
CONCURRENT_REQUESTS_PER_IP2 до 4Ги ограничува паралелните барања по целна IP-адреса, љубезна граница за оптоварувањето на секој сервер
AUTOTHROTTLE_ENABLEDTrueМу овозможува на Scrapy да ги зголемува или скратува паузите во зависност од брзината на одговор на целта

Преглед на middleware за ротација

  • Прочитајте ја листата со проксија од поставките во from_crawler() и чувајте ја на инстанцата на middleware
  • Во process_request(), доделете request.meta['proxy'] = random.choice(self.proxies) освен ако барањето веќе нема зададено прокси
  • Кога одговорот ќе врати 429 или 503, обидете се повторно со друго прокси од пулот наместо со она што штотуку било одбиено
  • Комбинирајте DOWNLOAD_DELAY = 1.0 со RANDOMIZE_DOWNLOAD_DELAY = True за паузата меѓу барањата да варира наместо да отчукува рамномерно како метроном

Одредување на големината на пулот

Еден Scrapy crawl може да испрати голем број барања во минута, па бројот на IP-адреси одредува колку умерено се користи секоја од нив. Со ProxyV4 нема минимална нарачка и цената по IP се намалува со зголемување на количината, а приватниот IPv4 сообраќај не се мери, па голем crawl чини исто како мал според потрошениот проток. Секоја IP-адреса ја користи само еден корисник, па нејзината репутација го одразува само вашиот crawl и на никој друг. За планирање на обемот и умереноста на барањата, погледнете го водичот за web scraping.

Чекор по чекор

  1. 1

    Подгответе ги URL-адресите за прокси

    Конвертирајте ги вашите ProxyV4 линии во формат ip:port:user:pass во http://user:pass@ip:port со конверторот на формат за прокси и зачувајте ги во поставките или во датотека.

  2. 2

    Напишете ProxyPoolMiddleware

    Во middlewares.py, имплементирајте process_request(self, request, spider) така што ќе постави request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Регистрирајте го пред вградениот middleware

    Во settings.py, додајте го 'myproject.middlewares.ProxyPoolMiddleware': 740 во DOWNLOADER_MIDDLEWARES и поставете CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Потврдете ја ротацијата

    Повикајте https://proxyv4.com/api/my-ip неколку пати преку scrapy shell или краток тест spider и проверете дали прикажаната IP-адреса се менува во рамките на вашиот пул.

Често поставувани прашања

Мојот middleware за прокси со приоритет 800 добива грешки 407. Зошто?

На 800 тој се извршува по HttpProxyMiddleware (750), па делот user:pass од вашето URL за прокси никогаш не се претвора во заглавие Proxy-Authorization. Поместете го вашиот middleware под 750, на пример на 740.

Може ли да поставам прокси само за едно барање?

Да. Проследете meta={'proxy': 'http://user:pass@ip:port'} кога го креирате Request; вградениот middleware ќе се погрижи за најавата само за тоа барање.

Дали crawl на милиони страници ќе достигне лимит на проток?

Не и на ProxyV4 приватните IPv4 или статички ISP проксија; двете опции имаат неограничен проток. Единственото практично ограничување е брзината со која целната страница ви дозволува да испраќате барања.

Извори

Статички IP-адреси без лимит на проток за Scrapy crawls

Приватен IPv4 во 7 земји плус статички ISP во САД и Виетнам, од една IP до голем пул, со цени во живо според количината.

Проверете ги цените во САД во живо

Related articles

Проксија по платформа
Проксија за веб-скрапинг: фиксен пул на IP-адреси со неограничен сообраќај
Проксија за веб-скрапинг за Python, Scrapy, Playwright и Selenium: пул од приватни IPv4 и статички ISP адреси, неограничен сообраќај, фиксна цена по IP.
Поставување прокси
Python requests преку автентицирано прокси, чекор по чекор
Испраќајте Python барања преку автентицирано HTTP(S) прокси: поставете proxies речник, поврзете Session, кодирајте лозинки, ротирајте листа и проверете IP.
Поставување прокси
Автентикација на Playwright прокси, една статичка IP по контекст
Доделете автентицирано HTTP(S) прокси на секој Playwright контекст во Node.js или Python, усогласете ги зоната и јазикот и потврдете ја излезната адреса.
Бесплатни алатки
Претворете ја прокси листата во форматот што го бара вашата алатка
Масовно конвертирајте прокси листи во вашиот прелистувач меѓу ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON низи и фајлови за FoxyProxy.
Проксија по платформа
Проксија за следење SEO ранг: видете ја страницата со резултати како локален корисник
SEO проксија за следење ранг со приватна IPv4 во САД, ОК, Виетнам, Јапонија и уште 4 пазари, за рангирањата, пакетите и рекламите да се како кај локалците.
Проксија по платформа
Amazon продавачки проксија што на секоја сметка ѝ даваат трајна адреса
Amazon проксија за Seller Central, KDP и Merch: статички US ISP или приватни UK/Јапонија IPv4 за секоја сметка, резервирани само за вас и трајни при обнова.
IPV4 · united states
Пул од приватни IPv4 проксија во САД за скрејпинг, следење рангирање и проверка на реклами
Купете US приватни IPv4 проксија: статички датацентар IP, еден корисник по IP, неограничен сообраќај. За scraping, следење SERP и проверка на US огласи.
IPV4 · united kingdom
Британско приватно IPv4 прокси за онлајн пазари, пребарување и кампањи
UK приватно IPv4 прокси со статична британска датацентар IP за еден корисник, за eBay UK и Amazon.co.uk истражувања, google.co.uk следење и UK реклами.