ProxyV4

Proxy w Scrapy: meta['proxy'], kolejność middleware i rotacja

· Updated:

W Scrapy proxy ustawia się dla każdego żądania za pomocą request.meta['proxy'] = 'http://user:pass@ip:port', a wbudowany HttpProxyMiddleware (kolejność 750) przekształca dane user:pass w nagłówek Proxy-Authorization. Dodaj prosty downloader middleware działający przed nim, z priorytetem 740, a każde żądanie generowane przez spidera pobierze IP z puli ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Prywatne IPv4 (datacenter)
🇺🇸 Stany Zjednoczone
Dostępne
Od
1,10 USD / IP / miesiąc
Rabaty ilościowe
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kup Stany Zjednoczone
Prywatne IPv4 (datacenter)
🇬🇧 Wielka Brytania
Dostępne
Od
1,10 USD / IP / miesiąc
Rabaty ilościowe
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kup Wielka Brytania

Dlaczego priorytet middleware ma znaczenie

Downloader middlewares wykonują się w kolejności rosnącej podczas wysyłania żądań. HttpProxyMiddleware z priorytetem 750 odczytuje meta['proxy'], usuwa dane logowania z adresu URL i tworzy nagłówek autoryzacji. Jeśli Twój własny middleware ustawi proxy później, na przykład z wartością 800, wbudowany komponent zdąży się już wykonać, dane logowania nie zostaną przekonwertowane, a serwer proxy zwróci błąd 407. Zarejestrowanie Twojego middleware z wartością 740 uruchamia go jako pierwszy.

UstawienieSugerowana wartośćEfekt
request.meta['proxy']'http://user:pass@ip:port'Kieruje dane żądanie przez wskazane proxy ProxyV4
Kolejność Twojego middleware740Działa przed HttpProxyMiddleware (750), więc dane logowania zostaną zakodowane
CONCURRENT_REQUESTS_PER_IP2 do 4Ogranicza liczbę równoległych żądań na docelowy adres IP, zapobiegając nadmiernemu obciążeniu serwera
AUTOTHROTTLE_ENABLEDTruePozwala Scrapy wydłużać lub skracać odstępy w zależności od czasu odpowiedzi celu

Zarys middleware do rotacji

  • Odczytaj listę proxy z ustawień w metodzie from_crawler() i zapisz ją w instancji middleware
  • W metodzie process_request() przypisz request.meta['proxy'] = random.choice(self.proxies), chyba że żądanie ma już przypisane proxy
  • Gdy serwer zwróci odpowiedź 429 lub 503, ponów żądanie przy użyciu innego proxy z puli zamiast tego, które zostało odrzucone
  • Połącz DOWNLOAD_DELAY = 1.0 z RANDOMIZE_DOWNLOAD_DELAY = True, aby odstępy między żądaniami były zróżnicowane zamiast równego taktu jak w metronomie

Dobór wielkości puli

Crawler w Scrapy może wysyłać wiele żądań na minutę, dlatego liczba adresów IP decyduje o intensywności eksploatacji każdego z nich. W ProxyV4 nie ma minimalnego zamówienia, a cena za IP maleje wraz z ilością; dodatkowo transfer na prywatnych IPv4 nie jest limitowany, więc duży crawl kosztuje tyle samo pod względem przepustowości co mały. Każdy adres IP jest przypisany tylko do jednego klienta, dzięki czemu jego reputacja zależy wyłącznie od Twoich działań. Informacje o planowaniu obciążenia i bezpiecznym tempie pracy znajdziesz w przewodniku po web scrapingu.

Krok po kroku

  1. 1

    Przygotuj adresy URL proxy

    Przekonwertuj swoje linie ProxyV4 z formatu ip:port:user:pass na http://user:pass@ip:port za pomocą konwertera formatu proxy i zapisz je w ustawieniach lub w pliku.

  2. 2

    Napisz ProxyPoolMiddleware

    W pliku middlewares.py zaimplementuj metodę process_request(self, request, spider), aby ustawiała request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Zarejestruj go przed komponentem wbudowanym

    W settings.py dodaj 'myproject.middlewares.ProxyPoolMiddleware': 740 do DOWNLOADER_MIDDLEWARES i ustaw CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Potwierdź rotację

    Pobierz adres https://proxyv4.com/api/my-ip kilka razy przez scrapy shell lub prosty testowy spider i upewnij się, że zwracany adres IP zmienia się w ramach Twojej puli.

Często zadawane pytania

Mój proxy middleware z priorytetem 800 zwraca błędy 407. Dlaczego?

Przy wartości 800 uruchamia się on po HttpProxyMiddleware (750), dlatego dane user:pass w adresie URL proxy nie zostają przekształcone w nagłówek Proxy-Authorization. Zmień priorytet middleware na wartość poniżej 750, np. 740.

Czy mogę ustawić proxy tylko dla jednego żądania?

Tak. Przekaż meta={'proxy': 'http://user:pass@ip:port'} podczas tworzenia obiektu Request; wbudowany middleware obsłuży dane logowania tylko dla tego żądania.

Czy crawling milionów stron doprowadzi do przekroczenia limitu transferu?

Nie w przypadku prywatnych IPv4 ani statycznych proxy ISP w ProxyV4 – obie opcje oferują nielimitowany transfer. Jedynym praktycznym ograniczeniem jest tempo, na jakie pozwala serwer docelowy.

Źródła

Nielimitowane statyczne IP do zadań w Scrapy

Prywatne IPv4 w 7 krajach oraz statyczne ISP w USA i Wietnamie – od pojedynczego IP po dużą pulę, z aktualnym cennikiem hurtowym.

Sprawdź aktualne ceny w USA

Related articles

Proxy według platform
Proxy do web scrapingu: stała pula IP bez limitu transferu
Proxy do web scrapingu dla Python, Scrapy, Playwright i Selenium: pula prywatnych IPv4 i statycznych ISP, bez limitu transferu i stała cena za IP.
Konfiguracja proxy
Python requests przez proxy z autoryzacją krok po kroku
Wysyłaj zapytania w Pythonie przez proxy HTTP(S) z autoryzacją: stwórz słownik proxies, dodaj go do Session, zakoduj trudne hasła, rotuj listę i sprawdź IP.
Konfiguracja proxy
Uwierzytelnianie proxy w Playwright: jedno statyczne IP na kontekst
Przypisz każdemu kontekstowi Playwright własne proxy HTTP(S) w Node.js lub Pythonie, dopasuj strefę i język do IP oraz sprawdź adres wyjściowy.
Darmowe narzędzia
Zmień format listy proxy na wymagany przez Twoje narzędzie
Konwertuj masowo w przeglądarce listy proxy między ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, tablicami JSON i plikami importu FoxyProxy.
Proxy według platform
Proxy do monitoringu pozycji SEO: zobacz stronę wyników oczami lokalnego użytkownika
Proxy SEO z prywatnym IPv4 w USA, UK, Wietnamie, Japonii i 4 innych krajach. Pozycje, wyniki lokalne i reklamy odpowiadają temu, co widzą lokalni użytkownicy.
Proxy według platform
Proxy dla sprzedawców Amazon: stały adres IP dla każdego konta
Proxy dla sprzedawców Amazon pod Seller Central, KDP i Merch: statyczne ISP w USA lub prywatne IPv4 w UK/Japonii na konto, na wyłączność i stałe po odnowieniu.
IPV4 · united states
Pula prywatnych proxy IPv4 w USA do scrapingu, śledzenia pozycji i weryfikacji reklam
Kup prywatne proxy IPv4 w USA: statyczne IP z datacenter, jeden użytkownik na IP, nielimitowany transfer. Do scrapingu, monitoringu SERP i weryfikacji reklam.
IPV4 · united kingdom
Prywatne proxy IPv4 w Wielkiej Brytanii dla platform marketplace, wyszukiwarek i kampanii
Prywatne proxy IPv4 z UK ze statycznym IP datacenter na wyłączność: do analiz eBay UK i Amazon.co.uk, śledzenia google.co.uk oraz sprawdzania reklam w UK.