ProxyV4

Проксија за веб-скрапинг: фиксен пул на IP-адреси со неограничен сообраќај

Updated:

Проксијата за веб-скрапинг наплатени по гигабајт го поскапуваат кролерот секојпат кога страниците стануваат потешки, поради што постојаните, закажани кролери се поевтини со фиксен пул на адреси со неограничен сообраќај. ProxyV4 продава приватни IPv4 во седум земји и статички ISP во САД и Виетнам, секоја по цена по IP без мерење на сообраќајот. Го одредувате пулот според тоа колку барања во секунда толерираат целите, а сметката останува иста без оглед на големината на страниците.

Приватен IPv4 (датацентар)
🇺🇸 Соединети Американски Држави
На залиха
Од
1,10 US$ / IP / месец
Попусти на количина
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Купи во Соединети Американски Држави
Приватен IPv4 (датацентар)
🇻🇳 Виетнам
На залиха
Од
1,10 US$ / IP / месец
Попусти на количина
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Купи во Виетнам
Поставување прокси:Python RequestsPlaywrightSeleniumScrapyPuppeteer

Наплата по IP наспроти наплата по GB за кролер

ПрашањеСтатичен пул (по IP)Мерен сообраќај (по GB)
Што ја одредува ценатаБрој на IP-адреси и период на закупПреземени бајти, вклучувајќи HTML, JS и содржини
Што се случува кога страниците стануваат потешкиНишто; пропусниот опсег е неограниченСметката расте заедно со нив
Што го ограничува протокотЛимитот на барања по IP на секоја целБуџетот
Како да скалиратеДодајте IP-адреси; цената по IP се намалува со количинатаКупете повеќе сообраќај

Зошто скраперите се блокираат и што менува пулот

При скрапинг на каталози, огласи и јавни API, повеќето блокирања не се поради тоа кој сте, туку колку брзо испраќате барања: една адреса што ќе го надмине дозволениот лимит на барања на сајтот добива HTTP 429. Пул од 10 до 100 статички IP-адреси, секоја водена со умерена паралелност, ја задржува секоја адреса под прагот додека кролерот во целина работи со брзината што ви е потребна.

Самостојното користење исто така помага овде. Секоја ProxyV4 IP-адреса му припаѓа на еден корисник за цело времетраење на закупот, па историјата на барања што ја гледа целта на таа адреса е исклучиво ваша.

Приспособување на пулот според целта

  • Јавни каталози и API со голем волумен: приватни IPv4 во САД или Сингапур, најниска цена по IP
  • Виетнамска е-трговија и локални портали: Виетнам IPv4 за пристап до домашни страници и локални цени
  • Цели што филтрираат хостинг ASN-ови зад WAF: статички ISP во САД или Виетнам, регистрирани кај резиденцијални оператори, што обично значи помалку предизвици од Cloudflare
  • Цели на кои им треба нова IP на секое барање: ротирачките проксија од Виетнам сè уште не се во продажба; на страницата за ротирачки проксија од Виетнам се наоѓа листата на чекање

Поставки на кролерот за долготрајност на статичниот пул

Секоја линија користи стандардни параметри за најава, па во Python проксито е едноставно proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • Распоредувајте ги барањата рамномерно (round-robin) по листата и додајте случајно временско одложување, приближно 2 до 5 секунди по IP за секој целен домен
  • Повторно користете ги конекциите со requests.Session() или пул-клиент за да не трошите ресурси на TLS ракување при секое барање
  • Во Playwright и Puppeteer, блокирајте слики, фонтови и медиуми што не ги обработувате
  • Кога одредена IP ќе добие HTTP 429 или 503, отстранете ја од ротација за период на ладење и забавете наместо веднаш повторно да испраќате барања

Чекор по чекор

  1. 1

    Купете пул димензиониран за вашите цели

    Изберете количина по земја, на пример САД, Јапонија или ОК IPv4. Попустите за количина се применуваат автоматски како што расте обемот.

  2. 2

    Претворете ја листата во URL-адреси

    Залепете ги линиите со ip:port:user:pass во конверторот за формати на прокси за да добиете текстуални низи http://user:pass@ip:port или JSON.

  3. 3

    Поврзете го пулот со вашата рамка

    Користете ги упатствата за конфигурирање за Python Requests, Scrapy, Selenium или Node.js Axios.

  4. 4

    Тестирајте пред првото целосно стартување

    Проверете го времето на одговор со тестот за брзина на прокси и отстранете ја секоја линија што е бавна кон вашата цел.

Често поставувани прашања

Дали сообраќајот за скрапинг на проксијата на ProxyV4 се мери?

Не. Приватните IPv4 и статичките ISP се наплаќаат по IP за периодот на закуп со неограничен пропусен опсег.

Колку страници дневно може да преземе една статичка IP-адреса?

Тоа зависи од лимитот на барања на целта. Со 1 до 3 барања во минута по домен, една IP-адреса презема околу 1.500 до 4.000 страници дневно без да привлече внимание.

Дали продавате ротирачки проксија за скрапинг?

Сè уште не. Ротирачките проксија од Виетнам се достапни само преку листа на чекање. Засега, статичен пул со round-robin распределба ја врши истата работа за повеќето закажани скрапинзи.

Како брзо да конвертирам 50 проксија во формат за Scrapy?

Залепете ги во конверторот за формати на прокси. Тој ги претвора линиите ip:port:user:pass во URL-низи или JSON низа директно во прелистувачот.

Создадете пул за скрапинг со фиксен месечен трошок

Приватни IPv4 во седум земји и статички ISP во САД и Виетнам, по цена за IP со неограничен сообраќај.

Проверете ги тековните цени за IPv4 во САД

Related articles

Случаи на употреба
Дизајнирање скрејпер околу пул од посветени IP адреси
Водич за дата тимови: димензионирајте приватен статички IP пул, ротирајте во сопствен код, изберете IPv4, ISP или IPv6 и собирајте податоци одговорно.
Поставување прокси
Python requests преку автентицирано прокси, чекор по чекор
Испраќајте Python барања преку автентицирано HTTP(S) прокси: поставете proxies речник, поврзете Session, кодирајте лозинки, ротирајте листа и проверете IP.
Поставување прокси
Автентикација на Playwright прокси, една статичка IP по контекст
Доделете автентицирано HTTP(S) прокси на секој Playwright контекст во Node.js или Python, усогласете ги зоната и јазикот и потврдете ја излезната адреса.
Поставување прокси
Scrapy проксија: meta['proxy'], редослед на middleware и ротација
Користете автентицирани HTTP(S) проксија во Scrapy: поставете request.meta['proxy'], наредете пред HttpProxyMiddleware (750), ротирајте IP и темпирајте crawl.
IPV4 · united states
Пул од приватни IPv4 проксија во САД за скрејпинг, следење рангирање и проверка на реклами
Купете US приватни IPv4 проксија: статички датацентар IP, еден корисник по IP, неограничен сообраќај. За scraping, следење SERP и проверка на US огласи.
IPV4 · vietnam
Виетнамско приватно IPv4 прокси: Една фиксна IP-адреса по сметка на големо
Приватни IPv4 проксија за Виетнам: статички датацентар IP-адреси, по еден корисник, цена за количина. За сидинг профили, споредни Shopee продавници и алатки.
ISP · united states
Статично ISP прокси во САД: Домашна IP-адреса што никогаш не се менува
US статички ISP проксија на IP адреси регистрирани кај домашни провајдери. Една фиксна американска IP по сметка за Amazon продавачи, реклами и Instagram.
Поставување прокси
Selenium WebDriver и автентицирани проксија: што навистина работи
Автентикација на Selenium прокси во ChromeDriver: зошто --proxy-server игнорира user:pass, како решава selenium-wire или екстензија и како се проверува IP.