Proxy do web scrapingu: stała pula IP bez limitu transferu
Updated:
Proxy do web scrapingu rozliczane za gigabajty sprawiają, że crawler staje się droższy za każdym razem, gdy strony stają się cięższe. Dlatego regularne, zaplanowane crawlery są tańsze przy użyciu stałej puli adresów z nielimitowanym transferem. ProxyV4 oferuje prywatne adresy IPv4 w siedmiu krajach oraz statyczne ISP w USA i Wietnamie, rozliczane za adres IP bez naliczania opłat za transfer. Dobierasz wielkość puli pod kątem liczby żądań na sekundę akceptowanych przez witryny docelowe, a rachunek pozostaje stały bez względu na rozmiar stron.
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Cena za IP a cena za GB w przypadku crawlera
| Pytanie | Pula statyczna (za IP) | Transfer mierzony (za GB) |
|---|---|---|
| Co wpływa na koszt | Liczba adresów IP i okres wynajmu | Pobrane bajty, w tym HTML, JS oraz zasoby |
| Co się dzieje, gdy strony stają się cięższe | Nic; transfer jest nielimitowany | Rachunek rośnie razem z nimi |
| Co ogranicza przepustowość | Limit zapytań na IP w danej witrynie docelowej | Budżet |
| Jak skalować | Dodawać adresy IP; cena za IP spada wraz z ilością | Dokupować więcej transferu |
Dlaczego scrapery są blokowane i co zmienia pula adresów
Podczas scrapowania katalogów, ogłoszeń i publicznych API większość blokad nie wynika z tego, kim jesteś, lecz z częstotliwości zapytań: jeden adres przekraczający dopuszczalny limit żądań witryny otrzymuje kod HTTP 429. Pula od 10 do 100 statycznych adresów IP, z których każdy działa z zachowaniem umiarkowanej współbieżności, pozwala utrzymać każdy adres poniżej limitu, podczas gdy crawler jako całość działa z wymaganą prędkością.
Pomaga w tym również dedykowana infrastruktura. Każdy adres IP w ProxyV4 należy do jednego klienta przez cały okres wynajmu, więc historia zapytań widoczna dla witryny docelowej pod danym adresem pochodzi wyłącznie od Ciebie.
Dopasowanie puli do witryny docelowej
- Publiczne katalogi i API o dużym wolumenie: prywatne IPv4 w Stanach Zjednoczonych lub Singapurze, najniższy koszt za IP
- Wietnamski e-commerce i lokalne portale: wietnamskie IPv4, aby uzyskać dostęp do lokalnych stron i cen
- Cele filtrujące numery ASN hostingu za pomocą systemów WAF: statyczne ISP w Stanach Zjednoczonych lub Wietnamie, zarejestrowane u konsumenckich dostawców ISP, co zazwyczaj przekłada się na mniej weryfikacji Cloudflare
- Cele wymagające nowego IP przy każdym żądaniu: rotacyjne proxy w Wietnamie nie są jeszcze w sprzedaży; lista oczekujących znajduje się na stronie rotacyjne proxy w Wietnamie
Ustawienia crawlera zapewniające trwałość statycznej puli
Każdy adres korzysta ze standardowych danych uwierzytelniających, więc w Pythonie proxy to po prostu proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Rozdzielaj żądania metodą round-robin na liście i dodawaj losowe opóźnienia (jitter), około 2 do 5 sekund na IP dla docelowej domeny
- Wykorzystuj ponownie połączenia za pomocą
requests.Session()lub klienta z pulą połączeń, aby nie płacić czasem za handshake TLS przy każdym żądaniu - W Playwright i Puppeteer blokuj obrazy, fonty i multimedia, których nie parsujesz
- Gdy adres IP otrzyma kod HTTP 429 lub 503, wycofaj go tymczasowo z rotacji w celu ochłodzenia i zastosuj wycofywanie (backoff) zamiast ponawiać próbę natychmiast
Krok po kroku
- 1
Kup pulę dopasowaną do Twoich celów
Wybierz liczbę adresów w danym kraju, na przykład IPv4 z USA, Japonii lub Wielkiej Brytanii. Rabaty ilościowe naliczają się automatycznie wraz ze wzrostem wielkości zamówienia.
- 2
Przekształć listę w adresy URL
Wklej wiersze
ip:port:user:passdo konwertera formatu proxy, aby uzyskać ciągihttp://user:pass@ip:portlub JSON. - 3
Podłącz pulę do swojego frameworka
Skorzystaj z przewodników konfiguracji dla Python Requests, Scrapy, Selenium lub Node.js Axios.
- 4
Wykonaj pomiary przed pierwszym pełnym uruchomieniem
Sprawdź czasy odpowiedzi za pomocą testu prędkości proxy i odrzuć adresy działające wolno w połączeniu z Twoim celem.
Często zadawane pytania
Czy transfer podczas scrapowania przez proxy ProxyV4 jest limitowany?
Nie. Prywatne IPv4 i statyczne ISP są rozliczane za adres IP za okres wynajmu, z nielimitowanym transferem.
Ile stron dziennie może pobrać jedno statyczne IP?
To zależy od limitu zapytań witryny docelowej. Przy 1 do 3 żądaniach na minutę dla danej domeny, jedno IP pobiera około 1 500 do 4 000 stron dziennie bez wzbudzania podejrzeń.
Czy sprzedajecie rotacyjne proxy do scrapingu?
Jeszcze nie. Na rotacyjne proxy w Wietnamie obowiązuje lista oczekujących. Na ten moment statyczna pula z algorytmem round-robin spełnia to samo zadanie dla większości zaplanowanych zadań scrapingu.
Jak szybko przekonwertować 50 proxy do formatu Scrapy?
Wklej je do konwertera formatu proxy. Narzędzie przekształca wiersze ip:port:user:pass w ciągi URL lub tablicę JSON bezpośrednio w przeglądarce.
Zbuduj pulę do scrapingu ze stałym miesięcznym kosztem
Prywatne IPv4 w siedmiu krajach i statyczne ISP w USA oraz Wietnamie, rozliczane za IP z nielimitowanym transferem.
Sprawdź aktualne ceny US IPv4