Проксита за web scraping: фиксиран пул от IP адреси с неограничен трафик
Updated:
Прокситата за web scraping, таксувани на гигабайт, оскъпяват краулера всеки път, когато страниците станат по-тежки. Ето защо регулярните, планирани краулери излизат по-евтино с фиксиран пул от адреси с неограничен трафик. ProxyV4 предлага частни IPv4 в седем държави и статични ISP в САЩ и Виетнам, всеки с цена на IP без отчитане на трафика. Оразмерявате пула според броя заявки в секунда, които целевите сайтове понасят, а сметката остава една и съща, независимо от размера на страниците.
- 1 IP1,85 щ.д.
- 3+ IP адреса1,70 щ.д.
- 10+ IP адреса1,60 щ.д.
- 25+ IP адреса1,50 щ.д.
- 50+ IP адреса1,40 щ.д.
- 100+ IP адреса1,30 щ.д.
- 200+ IP адреса1,20 щ.д.
- 500+ IP адреса1,10 щ.д.
- 1 IP1,85 щ.д.
- 3+ IP адреса1,70 щ.д.
- 10+ IP адреса1,60 щ.д.
- 25+ IP адреса1,50 щ.д.
- 50+ IP адреса1,40 щ.д.
- 100+ IP адреса1,30 щ.д.
- 200+ IP адреса1,20 щ.д.
- 500+ IP адреса1,10 щ.д.
Ценообразуване на IP спрямо ценообразуване на GB за краулер
| Въпрос | Статичен пул (на IP) | Отчитан трафик (на GB) |
|---|---|---|
| Какво определя цената | Брой IP адреси и период на наемане | Изтеглени байтове, включително HTML, JS и ресурси |
| Какво се случва, когато страниците натежеят | Нищо; трафикът е неограничен | Сметката расте заедно с тях |
| Какво ограничава пропускателната способност | Лимитът на заявките за всяко IP от целевия сайт | Бюджетът |
| Как се мащабира | Добавяне на IP адреси; цената на IP спада при по-голямо количество | Купуване на още трафик |
Защо скраперите биват блокирани и какво променя пулът
При извличане на данни от каталози, обяви и публични API повечето блокирания не се дължат на това кой сте, а колко бързо правите заявки: адрес, превишаващ лимита на сайта, получава HTTP 429. Пул от 10 до 100 статични IP адреса, всеки с умерена едновременност на заявките, държи всеки адрес под прага, докато краулерът като цяло работи с необходимата скорост.
Индивидуалното ползване също помага. Всяко IP от ProxyV4 принадлежи на един клиент за целия период на наемане, така че историята на заявките, която целевият сайт вижда на този адрес, е само ваша.
Съобразяване на пула с целевия сайт
- Публични каталози и натоварени API: частни IPv4 в САЩ или Сингапур, най-ниска цена на IP
- Виетнамска електронна търговия и местни портали: IPv4 във Виетнам за достъп до местни страници и локални цени
- Цели, филтриращи хостинг ASN зад WAF: статични ISP в САЩ или Виетнам, регистрирани към домашни доставчици, което обикновено води до по-малко проверки от Cloudflare
- Цели, изискващи ново IP за всяка заявка: ротиращите виетнамски проксита все още не се продават; списъкът с чакащи е на страницата за ротиращи проксита във Виетнам
Настройки на краулера за дълготрайна работа на статичния пул
Всеки ред използва стандартни идентификационни данни, така че в Python проксито е просто proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Разпределяйте заявките циклично (round-robin) по списъка и добавяйте произволно отклонение (jitter), около 2 до 5 секунди на IP за целеви домейн
- Преизползвайте връзките с
requests.Session()или клиент с пул от връзки, за да не правите ново TLS ръкостискане при всяка заявка - В Playwright и Puppeteer блокирайте изображения, шрифтове и медийни файлове, които не обработвате
- Когато дадено IP получи HTTP 429 или 503, извадете го от ротация за период на охлаждане и намалете темпото, вместо да опитвате веднага отново
Стъпка по стъпка
- 1
Купете пул, оразмерен за вашите цели
Изберете количество по държави, например IPv4 за САЩ, Япония или Обединеното кралство. Отстъпките за обем се прилагат автоматично с нарастването на количеството.
- 2
Преобразувайте списъка в URL адреси
Поставете редовете
ip:port:user:passв конвертора на формати за проксита, за да получите низовеhttp://user:pass@ip:portили JSON. - 3
Свържете пула към вашия фреймуърк
Използвайте страниците за настройка за Python Requests, Scrapy, Selenium или Node.js Axios.
- 4
Направете замерване преди първото пълно пускане
Проверете времената за отговор с теста за скорост на проксита и премахнете всеки ред, който е бавен към вашата цел.
Често задавани въпроси
Отчита ли се трафикът за скрапване при прокситата на ProxyV4?
Не. Частните IPv4 и статичните ISP са с фиксирана цена на IP за периода на наемане и с неограничен трафик.
Колко страници на ден може да извлече едно статично IP?
Зависи от лимита на заявките на целевия сайт. При 1 до 3 заявки в минута за домейн, едно IP извлича приблизително 1,500 до 4,000 страници на ден, без да привлича внимание.
Продавате ли ротиращи проксита за скрапване?
Все още не. Ротиращите проксита във Виетнам са само с предварителен списък на чакащи. Засега статичен пул с циклично разпределение върши същата работа за повечето планирани обхождания.
Как да конвертирам бързо 50 проксита във формат за Scrapy?
Поставете ги в конвертора на формати за проксита. Той преобразува редовете ip:port:user:pass в URL низове или JSON масив директно в браузъра.
Създайте пул за скрапване с фиксиран месечен разход
Частни IPv4 в седем държави и статични ISP в САЩ и Виетнам, на цена за IP с неограничен трафик.
Вижте актуалните цени за IPv4 в САЩ