ProxyV4

Проксита за web scraping: фиксиран пул от IP адреси с неограничен трафик

Updated:

Прокситата за web scraping, таксувани на гигабайт, оскъпяват краулера всеки път, когато страниците станат по-тежки. Ето защо регулярните, планирани краулери излизат по-евтино с фиксиран пул от адреси с неограничен трафик. ProxyV4 предлага частни IPv4 в седем държави и статични ISP в САЩ и Виетнам, всеки с цена на IP без отчитане на трафика. Оразмерявате пула според броя заявки в секунда, които целевите сайтове понасят, а сметката остава една и съща, независимо от размера на страниците.

Частни IPv4 (дейтацентър)
🇺🇸 Съединени щати
В наличност
От
1,10 щ.д. / IP / месец
Отстъпки за количество
  • 1 IP1,85 щ.д.
  • 3+ IP адреса1,70 щ.д.
  • 10+ IP адреса1,60 щ.д.
  • 25+ IP адреса1,50 щ.д.
  • 50+ IP адреса1,40 щ.д.
  • 100+ IP адреса1,30 щ.д.
  • 200+ IP адреса1,20 щ.д.
  • 500+ IP адреса1,10 щ.д.
Купете Съединени щати
Частни IPv4 (дейтацентър)
🇻🇳 Виетнам
В наличност
От
1,10 щ.д. / IP / месец
Отстъпки за количество
  • 1 IP1,85 щ.д.
  • 3+ IP адреса1,70 щ.д.
  • 10+ IP адреса1,60 щ.д.
  • 25+ IP адреса1,50 щ.д.
  • 50+ IP адреса1,40 щ.д.
  • 100+ IP адреса1,30 щ.д.
  • 200+ IP адреса1,20 щ.д.
  • 500+ IP адреса1,10 щ.д.
Купете Виетнам
Настройка на прокси:Python RequestsPlaywrightSeleniumScrapyPuppeteer

Ценообразуване на IP спрямо ценообразуване на GB за краулер

ВъпросСтатичен пул (на IP)Отчитан трафик (на GB)
Какво определя ценатаБрой IP адреси и период на наеманеИзтеглени байтове, включително HTML, JS и ресурси
Какво се случва, когато страниците натежеятНищо; трафикът е неограниченСметката расте заедно с тях
Какво ограничава пропускателната способностЛимитът на заявките за всяко IP от целевия сайтБюджетът
Как се мащабираДобавяне на IP адреси; цената на IP спада при по-голямо количествоКупуване на още трафик

Защо скраперите биват блокирани и какво променя пулът

При извличане на данни от каталози, обяви и публични API повечето блокирания не се дължат на това кой сте, а колко бързо правите заявки: адрес, превишаващ лимита на сайта, получава HTTP 429. Пул от 10 до 100 статични IP адреса, всеки с умерена едновременност на заявките, държи всеки адрес под прага, докато краулерът като цяло работи с необходимата скорост.

Индивидуалното ползване също помага. Всяко IP от ProxyV4 принадлежи на един клиент за целия период на наемане, така че историята на заявките, която целевият сайт вижда на този адрес, е само ваша.

Съобразяване на пула с целевия сайт

  • Публични каталози и натоварени API: частни IPv4 в САЩ или Сингапур, най-ниска цена на IP
  • Виетнамска електронна търговия и местни портали: IPv4 във Виетнам за достъп до местни страници и локални цени
  • Цели, филтриращи хостинг ASN зад WAF: статични ISP в САЩ или Виетнам, регистрирани към домашни доставчици, което обикновено води до по-малко проверки от Cloudflare
  • Цели, изискващи ново IP за всяка заявка: ротиращите виетнамски проксита все още не се продават; списъкът с чакащи е на страницата за ротиращи проксита във Виетнам

Настройки на краулера за дълготрайна работа на статичния пул

Всеки ред използва стандартни идентификационни данни, така че в Python проксито е просто proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • Разпределяйте заявките циклично (round-robin) по списъка и добавяйте произволно отклонение (jitter), около 2 до 5 секунди на IP за целеви домейн
  • Преизползвайте връзките с requests.Session() или клиент с пул от връзки, за да не правите ново TLS ръкостискане при всяка заявка
  • В Playwright и Puppeteer блокирайте изображения, шрифтове и медийни файлове, които не обработвате
  • Когато дадено IP получи HTTP 429 или 503, извадете го от ротация за период на охлаждане и намалете темпото, вместо да опитвате веднага отново

Стъпка по стъпка

  1. 1

    Купете пул, оразмерен за вашите цели

    Изберете количество по държави, например IPv4 за САЩ, Япония или Обединеното кралство. Отстъпките за обем се прилагат автоматично с нарастването на количеството.

  2. 2

    Преобразувайте списъка в URL адреси

    Поставете редовете ip:port:user:pass в конвертора на формати за проксита, за да получите низове http://user:pass@ip:port или JSON.

  3. 3

    Свържете пула към вашия фреймуърк

    Използвайте страниците за настройка за Python Requests, Scrapy, Selenium или Node.js Axios.

  4. 4

    Направете замерване преди първото пълно пускане

    Проверете времената за отговор с теста за скорост на проксита и премахнете всеки ред, който е бавен към вашата цел.

Често задавани въпроси

Отчита ли се трафикът за скрапване при прокситата на ProxyV4?

Не. Частните IPv4 и статичните ISP са с фиксирана цена на IP за периода на наемане и с неограничен трафик.

Колко страници на ден може да извлече едно статично IP?

Зависи от лимита на заявките на целевия сайт. При 1 до 3 заявки в минута за домейн, едно IP извлича приблизително 1,500 до 4,000 страници на ден, без да привлича внимание.

Продавате ли ротиращи проксита за скрапване?

Все още не. Ротиращите проксита във Виетнам са само с предварителен списък на чакащи. Засега статичен пул с циклично разпределение върши същата работа за повечето планирани обхождания.

Как да конвертирам бързо 50 проксита във формат за Scrapy?

Поставете ги в конвертора на формати за проксита. Той преобразува редовете ip:port:user:pass в URL низове или JSON масив директно в браузъра.

Създайте пул за скрапване с фиксиран месечен разход

Частни IPv4 в седем държави и статични ISP в САЩ и Виетнам, на цена за IP с неограничен трафик.

Вижте актуалните цени за IPv4 в САЩ

Related articles

Приложения
Проектиране на скрапер с пул от дедикирани IP адреси
Ръководство за екипи за данни: оразмерете пул от частни статични IP адреси, ротирайте ги в свой код, изберете IPv4, ISP или IPv6 и събирайте данни отговорно.
Настройка на прокси
Python requests през автентикирано прокси: стъпка по стъпка
Изпращайте Python заявки през автентикирано HTTP(S) прокси: създайте proxies речник, свържете към Session, кодирайте пароли, редувайте списък и проверете IP.
Настройка на прокси
Автентикация на Playwright прокси: статичен IP за всеки контекст
Задайте на всеки Playwright контекст отделно автентикирано HTTP(S) прокси в Node.js или Python, съобразете часовата зона и проверете изходния IP адрес.
Настройка на прокси
Scrapy проксита: meta['proxy'], подредба на middleware и ротация
Използвайте HTTP(S) проксита в Scrapy: задайте request.meta['proxy'], сложете middleware преди HttpProxyMiddleware (750), ротирайте IP и темпирайте обхождането.
IPV4 · united states
Пул от частни IPv4 проксита от САЩ за скрапинг, следене на позиции и проверка на реклами
Купете частни US IPv4 проксита: статични дейтацентър IP от САЩ, един клиент на IP, неограничен трафик. За скрапване, SERP следене и US рекламни проверки.
IPV4 · vietnam
Виетнамско частно IPv4 прокси: Един фиксиран IP адрес на акаунт при големи обеми
Частни IPv4 проксита за Виетнам: статични дейтацентър IP адреси за един клиент с цени за обем. За сийдинг профили, вторични Shopee магазини и инструменти.
ISP · united states
Статично ISP прокси от САЩ: Домашен IP адрес, който никога не се променя
Статични US ISP проксита с IP адреси от домашни интернет доставчици. Фиксиран американски IP за акаунти в Amazon, рекламни профили и Instagram.
Настройка на прокси
Selenium WebDriver и проксита с автентикация: кое работи
Selenium прокси вход в ChromeDriver: защо --proxy-server игнорира user:pass, как помагат selenium-wire или onAuthRequired разширение и как се проверява IP.