Проксији за web scraping: фиксни пул IP адреса са неограниченим протоком
Updated:
Проксији за web scraping који се наплаћују по гигабајту чине сваки crawler скупљим сваки пут када се страница повећа, због чега су стабилни, заказани crawleri јефтинији уз фиксни пул адреса са неограниченим протоком. ProxyV4 продаје приватне IPv4 у седам земаља и статичке ISP у САД и Вијетнаму, све са наплатом по IP адреси и без мерења протока. Величину пула одређујете према броју захтева у секунди које циљни сајтови толеришу, а рачун остаје исти без обзира на величину страница.
- 1 IP1,85 US$
- 3+ IP адреса1,70 US$
- 10+ IP адреса1,60 US$
- 25+ IP адреса1,50 US$
- 50+ IP адреса1,40 US$
- 100+ IP адреса1,30 US$
- 200+ IP адреса1,20 US$
- 500+ IP адреса1,10 US$
- 1 IP1,85 US$
- 3+ IP адреса1,70 US$
- 10+ IP адреса1,60 US$
- 25+ IP адреса1,50 US$
- 50+ IP адреса1,40 US$
- 100+ IP адреса1,30 US$
- 200+ IP адреса1,20 US$
- 500+ IP адреса1,10 US$
Наплата по IP адреси у односу на наплату по GB за crawler
| Питање | Статички пул (по IP-ју) | Мерени проток (по GB-у) |
|---|---|---|
| Шта одређује трошак | Број IP адреса и период закупа | Преузети бајтови, укључујући HTML, JS и пратеће елементе |
| Шта се дешава када странице постану теже | Ништа; проток је неограничен | Рачун расте заједно са њима |
| Шта ограничава пропусност | Ограничење броја захтева по IP адреси на циљном сајту | Буџет |
| Како скалирати | Додајте IP адресе; цена по IP-ју опада са количином | Куповином више протока |
Зашто се scraperi блокирају и шта пул мења
Код прикупљања података из каталога, огласа и јавних API-ја, већина блокада не настаје због тога ко сте, већ колико брзо шаљете захтеве: једна адреса која прекорачи дозвољену брзину захтева на сајту добија HTTP 429. Пул од 10 до 100 статичких IP адреса, где се за сваку одржава умерени број истовремених веза, задржава сваку адресу испод прага, док crawler у целини ради брзином која вам је потребна.
Наменска додела (single tenancy) помаже и овде. Свака ProxyV4 IP адреса припада искључиво једном кориснику током читавог периода закупа, тако да је историја захтева коју циљни сајт види на тој адреси само ваша.
Усклађивање пула са циљним сајтом
- Јавни каталози и API-ји високог обима: приватни IPv4 у Сједињеним Америчким Државама или Сингапуру, најнижа цена по IP-ју
- Вијетнамска е-трговина и локални портали: вијетнамски IPv4 за приступ локалним страницама и локалним ценама
- Циљеви који филтрирају хостинг ASN-ове иза WAF-а: статички ISP у Сједињеним Америчким Државама или Вијетнаму, регистровани код резиденцијалних ISP провајдера, што углавном значи мање Cloudflare провера
- Циљеви којима је потребна нова IP адреса при сваком захтеву: ротирајући проксији за Вијетнам још нису у продаји; на страници за ротирајући Вијетнам налази се листа чекања
Подешавања crawlera која омогућавају дуготрајност статичког пула
Свака линија користи стандардне параметре за пријаву, па је у Python-у прокси само proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Додељујте захтеве по round-robin принципу кроз листу и додајте насумични размак (jitter), оквирно 2 до 5 секунди по IP адреси по циљном домену
- Поново користите везе помоћу
requests.Session()или клијента са пулом веза, како не бисте плаћали трошак TLS handshake-а при сваком захтеву - У Playwright и Puppeteer алатима, блокирајте слике, фонтове и медије које не обрађујете
- Када IP адреса добије HTTP 429 или 503, искључите је из ротације на одређено време и успорите уместо да одмах покушате поново
Корак по корак
- 1
- 2
Претворите листу у URL-ове
Налепите
ip:port:user:passлиније у конвертор формата проксија да бисте добилиhttp://user:pass@ip:portнизове или JSON. - 3
Повежите пул са својим радним оквиром
Користите странице за подешавање за Python Requests, Scrapy, Selenium или Node.js Axios.
- 4
Измерите брзину пре првог комплетног покретања
Проверите време одзива помоћу теста брзине проксија и уклоните сваку линију која је спора ка вашем циљу.
Често постављана питања
Да ли се проток за scraping на ProxyV4 проксијима мери?
Не. Приватни IPv4 и статички ISP се наплаћују по IP адреси за период закупа уз неограничен проток.
Колико страница дневно може да преузме једна статичка IP адреса?
Зависи од ограничења брзине на циљном сајту. При 1 до 3 захтева у минуту по домену, једна IP адреса преузима оквирно 1.500 до 4.000 страница дневно без привлачења пажње.
Да ли продајете ротирајуће проксије за scraping?
Још не. Ротирајући проксији за Вијетнам су доступни само преко листе чекања. За сада, статички пул са round-robin расподелом ради исти посао за већину планираних прикупљања података.
Како да брзо конвертујем 50 проксија у формат за Scrapy?
Налепите их у конвертор формата проксија. Он претвара ip:port:user:pass линије у URL низове или JSON низ директно у прегледачу.
Направите пул за scraping уз фиксни месечни трошак
Приватни IPv4 у седам земаља и статички ISP у САД и Вијетнаму, са наплатом по IP адреси и неограниченим протоком.
Погледајте тренутне цене за US IPv4