Proxy w Scrapy: meta['proxy'], kolejność middleware i rotacja
Autor: Zespół inżynierski ProxyV4 · Updated:
W Scrapy proxy ustawia się dla każdego żądania za pomocą request.meta['proxy'] = 'http://user:pass@ip:port', a wbudowany HttpProxyMiddleware (kolejność 750) przekształca dane user:pass w nagłówek Proxy-Authorization. Dodaj prosty downloader middleware działający przed nim, z priorytetem 740, a każde żądanie generowane przez spidera pobierze IP z puli ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Dlaczego priorytet middleware ma znaczenie
Downloader middlewares wykonują się w kolejności rosnącej podczas wysyłania żądań. HttpProxyMiddleware z priorytetem 750 odczytuje meta['proxy'], usuwa dane logowania z adresu URL i tworzy nagłówek autoryzacji. Jeśli Twój własny middleware ustawi proxy później, na przykład z wartością 800, wbudowany komponent zdąży się już wykonać, dane logowania nie zostaną przekonwertowane, a serwer proxy zwróci błąd 407. Zarejestrowanie Twojego middleware z wartością 740 uruchamia go jako pierwszy.
| Ustawienie | Sugerowana wartość | Efekt |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Kieruje dane żądanie przez wskazane proxy ProxyV4 |
| Kolejność Twojego middleware | 740 | Działa przed HttpProxyMiddleware (750), więc dane logowania zostaną zakodowane |
CONCURRENT_REQUESTS_PER_IP | 2 do 4 | Ogranicza liczbę równoległych żądań na docelowy adres IP, zapobiegając nadmiernemu obciążeniu serwera |
AUTOTHROTTLE_ENABLED | True | Pozwala Scrapy wydłużać lub skracać odstępy w zależności od czasu odpowiedzi celu |
Zarys middleware do rotacji
- Odczytaj listę proxy z ustawień w metodzie
from_crawler()i zapisz ją w instancji middleware - W metodzie
process_request()przypiszrequest.meta['proxy'] = random.choice(self.proxies), chyba że żądanie ma już przypisane proxy - Gdy serwer zwróci odpowiedź
429lub503, ponów żądanie przy użyciu innego proxy z puli zamiast tego, które zostało odrzucone - Połącz
DOWNLOAD_DELAY = 1.0zRANDOMIZE_DOWNLOAD_DELAY = True, aby odstępy między żądaniami były zróżnicowane zamiast równego taktu jak w metronomie
Dobór wielkości puli
Crawler w Scrapy może wysyłać wiele żądań na minutę, dlatego liczba adresów IP decyduje o intensywności eksploatacji każdego z nich. W ProxyV4 nie ma minimalnego zamówienia, a cena za IP maleje wraz z ilością; dodatkowo transfer na prywatnych IPv4 nie jest limitowany, więc duży crawl kosztuje tyle samo pod względem przepustowości co mały. Każdy adres IP jest przypisany tylko do jednego klienta, dzięki czemu jego reputacja zależy wyłącznie od Twoich działań. Informacje o planowaniu obciążenia i bezpiecznym tempie pracy znajdziesz w przewodniku po web scrapingu.
Krok po kroku
- 1
Przygotuj adresy URL proxy
Przekonwertuj swoje linie ProxyV4 z formatu
ip:port:user:passnahttp://user:pass@ip:portza pomocą konwertera formatu proxy i zapisz je w ustawieniach lub w pliku. - 2
Napisz ProxyPoolMiddleware
W pliku
middlewares.pyzaimplementuj metodęprocess_request(self, request, spider), aby ustawiałarequest.meta['proxy'] = random.choice(self.proxies). - 3
Zarejestruj go przed komponentem wbudowanym
W
settings.pydodaj'myproject.middlewares.ProxyPoolMiddleware': 740doDOWNLOADER_MIDDLEWARESi ustawCONCURRENT_REQUESTS_PER_IP = 2. - 4
Potwierdź rotację
Pobierz adres
https://proxyv4.com/api/my-ipkilka razy przezscrapy shelllub prosty testowy spider i upewnij się, że zwracany adres IP zmienia się w ramach Twojej puli.
Często zadawane pytania
Mój proxy middleware z priorytetem 800 zwraca błędy 407. Dlaczego?
Przy wartości 800 uruchamia się on po HttpProxyMiddleware (750), dlatego dane user:pass w adresie URL proxy nie zostają przekształcone w nagłówek Proxy-Authorization. Zmień priorytet middleware na wartość poniżej 750, np. 740.
Czy mogę ustawić proxy tylko dla jednego żądania?
Tak. Przekaż meta={'proxy': 'http://user:pass@ip:port'} podczas tworzenia obiektu Request; wbudowany middleware obsłuży dane logowania tylko dla tego żądania.
Czy crawling milionów stron doprowadzi do przekroczenia limitu transferu?
Nie w przypadku prywatnych IPv4 ani statycznych proxy ISP w ProxyV4 – obie opcje oferują nielimitowany transfer. Jedynym praktycznym ograniczeniem jest tempo, na jakie pozwala serwer docelowy.
Źródła
Nielimitowane statyczne IP do zadań w Scrapy
Prywatne IPv4 w 7 krajach oraz statyczne ISP w USA i Wietnamie – od pojedynczego IP po dużą pulę, z aktualnym cennikiem hurtowym.
Sprawdź aktualne ceny w USA