Проксија за веб-скрапинг: фиксен пул на IP-адреси со неограничен сообраќај
Updated:
Проксијата за веб-скрапинг наплатени по гигабајт го поскапуваат кролерот секојпат кога страниците стануваат потешки, поради што постојаните, закажани кролери се поевтини со фиксен пул на адреси со неограничен сообраќај. ProxyV4 продава приватни IPv4 во седум земји и статички ISP во САД и Виетнам, секоја по цена по IP без мерење на сообраќајот. Го одредувате пулот според тоа колку барања во секунда толерираат целите, а сметката останува иста без оглед на големината на страниците.
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Наплата по IP наспроти наплата по GB за кролер
| Прашање | Статичен пул (по IP) | Мерен сообраќај (по GB) |
|---|---|---|
| Што ја одредува цената | Број на IP-адреси и период на закуп | Преземени бајти, вклучувајќи HTML, JS и содржини |
| Што се случува кога страниците стануваат потешки | Ништо; пропусниот опсег е неограничен | Сметката расте заедно со нив |
| Што го ограничува протокот | Лимитот на барања по IP на секоја цел | Буџетот |
| Како да скалирате | Додајте IP-адреси; цената по IP се намалува со количината | Купете повеќе сообраќај |
Зошто скраперите се блокираат и што менува пулот
При скрапинг на каталози, огласи и јавни API, повеќето блокирања не се поради тоа кој сте, туку колку брзо испраќате барања: една адреса што ќе го надмине дозволениот лимит на барања на сајтот добива HTTP 429. Пул од 10 до 100 статички IP-адреси, секоја водена со умерена паралелност, ја задржува секоја адреса под прагот додека кролерот во целина работи со брзината што ви е потребна.
Самостојното користење исто така помага овде. Секоја ProxyV4 IP-адреса му припаѓа на еден корисник за цело времетраење на закупот, па историјата на барања што ја гледа целта на таа адреса е исклучиво ваша.
Приспособување на пулот според целта
- Јавни каталози и API со голем волумен: приватни IPv4 во САД или Сингапур, најниска цена по IP
- Виетнамска е-трговија и локални портали: Виетнам IPv4 за пристап до домашни страници и локални цени
- Цели што филтрираат хостинг ASN-ови зад WAF: статички ISP во САД или Виетнам, регистрирани кај резиденцијални оператори, што обично значи помалку предизвици од Cloudflare
- Цели на кои им треба нова IP на секое барање: ротирачките проксија од Виетнам сè уште не се во продажба; на страницата за ротирачки проксија од Виетнам се наоѓа листата на чекање
Поставки на кролерот за долготрајност на статичниот пул
Секоја линија користи стандардни параметри за најава, па во Python проксито е едноставно proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Распоредувајте ги барањата рамномерно (round-robin) по листата и додајте случајно временско одложување, приближно 2 до 5 секунди по IP за секој целен домен
- Повторно користете ги конекциите со
requests.Session()или пул-клиент за да не трошите ресурси на TLS ракување при секое барање - Во Playwright и Puppeteer, блокирајте слики, фонтови и медиуми што не ги обработувате
- Кога одредена IP ќе добие HTTP 429 или 503, отстранете ја од ротација за период на ладење и забавете наместо веднаш повторно да испраќате барања
Чекор по чекор
- 1
- 2
Претворете ја листата во URL-адреси
Залепете ги линиите со
ip:port:user:passво конверторот за формати на прокси за да добиете текстуални низиhttp://user:pass@ip:portили JSON. - 3
Поврзете го пулот со вашата рамка
Користете ги упатствата за конфигурирање за Python Requests, Scrapy, Selenium или Node.js Axios.
- 4
Тестирајте пред првото целосно стартување
Проверете го времето на одговор со тестот за брзина на прокси и отстранете ја секоја линија што е бавна кон вашата цел.
Често поставувани прашања
Дали сообраќајот за скрапинг на проксијата на ProxyV4 се мери?
Не. Приватните IPv4 и статичките ISP се наплаќаат по IP за периодот на закуп со неограничен пропусен опсег.
Колку страници дневно може да преземе една статичка IP-адреса?
Тоа зависи од лимитот на барања на целта. Со 1 до 3 барања во минута по домен, една IP-адреса презема околу 1.500 до 4.000 страници дневно без да привлече внимание.
Дали продавате ротирачки проксија за скрапинг?
Сè уште не. Ротирачките проксија од Виетнам се достапни само преку листа на чекање. Засега, статичен пул со round-robin распределба ја врши истата работа за повеќето закажани скрапинзи.
Како брзо да конвертирам 50 проксија во формат за Scrapy?
Залепете ги во конверторот за формати на прокси. Тој ги претвора линиите ip:port:user:pass во URL-низи или JSON низа директно во прелистувачот.
Создадете пул за скрапинг со фиксен месечен трошок
Приватни IPv4 во седум земји и статички ISP во САД и Виетнам, по цена за IP со неограничен сообраќај.
Проверете ги тековните цени за IPv4 во САД