ProxyV4

Проксі для вэб-скрэйпінгу: фіксаваны пул IP з неабмежаваным трафікам

Updated:

Проксі для вэб-скрэйпінгу з аплатай за гігабайт робяць краўлер даражэйшым кожны раз, калі старонка становіцца цяжэйшай, таму стабільныя запланаваныя краўлеры выгадней запускаць на фіксаваным пуле адрасоў з неабмежаваным трафікам. ProxyV4 прадае прыватныя IPv4 у сямі краінах і статычныя ISP у ЗША і В'етнаме — кожны з аплатай за IP без уліку трафіку. Вы падбіраеце памер пула па колькасці запытаў у секунду, якую вытрымліваюць мэтавыя сайты, а выніковы рахунак застаецца нязменным незалежна ад памеру старонак.

Прыватныя IPv4 (датацэнтр)
🇺🇸 Злучаныя Штаты
У наяўнасці
Ад
1,10 $ / IP / месяц
Зніжкі за аб'ём
  • 1 IP1,85 $
  • Ад 3 IP1,70 $
  • Ад 10 IP1,60 $
  • Ад 25 IP1,50 $
  • Ад 50 IP1,40 $
  • Ад 100 IP1,30 $
  • Ад 200 IP1,20 $
  • Ад 500 IP1,10 $
Купіць Злучаныя Штаты
Прыватныя IPv4 (датацэнтр)
🇻🇳 В'етнам
У наяўнасці
Ад
1,10 $ / IP / месяц
Зніжкі за аб'ём
  • 1 IP1,85 $
  • Ад 3 IP1,70 $
  • Ад 10 IP1,60 $
  • Ад 25 IP1,50 $
  • Ад 50 IP1,40 $
  • Ад 100 IP1,30 $
  • Ад 200 IP1,20 $
  • Ад 500 IP1,10 $
Купіць В'етнам

Аплата за IP у параўнанні з аплатай за ГБ для краўлера

ПытаннеСтатычны пул (за IP)Тарыфікацыя трафіку (за ГБ)
Ад чаго залежыць коштКолькасць IP і тэрмін арэндыСпампаваныя байты, уключаючы HTML, JS і рэсурсы
Што адбываецца, калі старонкі становяцца цяжэйшыміНічога; прапускная здольнасць не абмежаванаРахунак расце разам з імі
Што абмяжоўвае прапускную здольнасцьЛіміт частаты запытаў на IP на кожным сайцеБюджэт
Як маштабаваццаДадаваць IP; цана за IP зніжаецца з ростам колькасціКупляць больш трафіку

Чаму скрэйперы блакуюць і што змяняе пул

Пры скрэйпінгу каталогаў, спісаў тавараў і публічных API большасць блакіровак звязана не з тым, хто вы, а з тым, як хутка вы адпраўляеце запыты: адзін адрас, які перавышае ліміт частаты запытаў сайта, атрымлівае HTTP 429. Пул ад 10 да 100 статычных IP, кожны з якіх працуе з умеранай колькасцю паралельных запытаў, утрымлівае кожны адрас ніжэй за парог, пакуль краўлер у цэлым працуе з патрэбнай вам хуткасцю.

Індывідуальнае выкарыстанне тут таксама дапамагае. Кожны IP ProxyV4 належыць аднаму кліенту на ўвесь час арэнды, таму гісторыя запытаў, якую бачыць мэтавы сайт на гэтым адрасе, належыць толькі вам.

Падбор пула пад мэтавы сайт

  • Публічныя каталогі і высоканагружаныя API: прыватныя IPv4 у Злучаных Штатах або Сінгапуры, найніжэйшы кошт за IP
  • В'етнамская электронная камерцыя і мясцовыя парталы: IPv4 В'етнама для доступу да лакальных старонак і мясцовых цэн
  • Сайты, якія фільтруюць ASN хостынгаў за WAF: статычныя ISP у Злучаных Штатах або В'етнаме, зарэгістраваныя на спажывецкіх ISP-правайдараў, што звычайна азначае менш праверак Cloudflare
  • Сайты, якім патрэбны новы IP на кожны запыт: ратацыйныя проксі В'етнама пакуль не прадаюцца; ліст чакання даступны на старонцы ратацыйных проксі В'етнама

Налады краўлера для доўгай працы статычнага пула

Кожная лінія выкарыстоўвае стандартныя ўліковыя даныя, таму ў Python проксі задаецца проста праз proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • Размяркоўвайце запыты па спісе па чарзе (round-robin) і дадавайце выпадковыя затрымкі, прыкладна ад 2 да 5 секунд на IP для кожнага мэтавага дамена
  • Выкарыстоўвайце злучэнні паўторна з дапамогай requests.Session() або пула кліентаў, каб не марнаваць рэсурсы на TLS-рукапацісканне пры кожным запыце
  • У Playwright і Puppeteer блакуйце выявы, шрыфты і медыяфайлы, якія вы не парсіце
  • Калі IP атрымлівае HTTP 429 ці 503, прыбярыце яго з ратацыі на астуджэнне і пачакайце перад паўторам, а не адпраўляйце запыт адразу

Крок за крокам

  1. 1

    Купіце пул, разлічаны пад вашы мэтавыя сайты

    Выберыце колькасць па краінах, напрыклад IPv4 ЗША, Японіі або Вялікабрытаніі. Зніжкі за аб'ём прымяняюцца аўтаматычна па меры павелічэння колькасці.

  2. 2

    Ператварыце спіс у URL-адрасы

    Устаўце радкі ip:port:user:pass у канвертар фарматаў проксі, каб атрымаць радкі http://user:pass@ip:port або JSON.

  3. 3

    Падключыце пул да вашага фрэймворка

    Выкарыстоўвайце інструкцыі па наладзе для Python Requests, Scrapy, Selenium або Node.js Axios.

  4. 4

    Праверце хуткасць перад першым поўным запускам

    Праверце час адказу з дапамогай тэсту хуткасці проксі і адключыце любыя лініі, якія працуюць павольна з вашым мэтавым сайтам.

Частыя пытанні

Ці ўлічваецца трафік скрэйпінгу на проксі ProxyV4?

Не. Прыватныя IPv4 і статычныя ISP аплачваюцца за IP на тэрмін арэнды з неабмежаванай прапускной здольнасцю.

Колькі старонак у дзень можа спампаваць адзін статычны IP?

Гэта залежыць ад ліміту запытаў мэтавага сайта. Пры 1–3 запытах у хвіліну на дамен адзін IP спампоўвае прыкладна ад 1,500 да 4,000 старонак у дзень, не прыцягваючы лішняй увагі.

Ці прадаяце вы ратацыйныя проксі для скрэйпінгу?

Пакуль не. Ратацыйныя проксі В'етнама даступныя толькі па спісе чакання. На дадзены момант статычны пул з размеркаваннем round-robin выконвае тую ж задачу для большасці запланаваных скрапінгаў.

Як хутка перавесці 50 проксі ў фармат Scrapy?

Устаўце іх у канвертар фарматаў проксі. Ён ператварае радкі ip:port:user:pass у URL-радкі або масіў JSON прама ў браўзеры.

Стварыце пул для скрэйпінгу з фіксаваным штомесячным коштам

Прыватныя IPv4 у сямі краінах і статычныя ISP у ЗША і В'етнаме з аплатай за IP і неабмежаваным трафікам.

Праверыць актуальныя цэны на IPv4 у ЗША

Related articles

Сцэнарыі выкарыстання
Праектаванне скрапера вакол пула выдзеленых IP
Кіраўніцтва для каманд працы з данымі: разлік пула прыватных статычных IP, ратацыя ва ўласным кодзе, выбар IPv4, ISP ці IPv6 і адказны збор даных.
Налада проксі
Запыты Python праз проксі з аўтэнтыфікацыяй: крок за крокам
Адпраўляйце запыты Python праз HTTP(S)-проксі з аўтэнтыфікацыяй: збярыце слоўнік proxies, дадайце ў Session, кадуйце паролі, ратуйце спіс і праверце свой IP.
Налада проксі
Аўтэнтыфікацыя проксі ў Playwright: адзін статычны IP на кантэкст
Дадавайце HTTP(S)-проксі з аўтэнтыфікацыяй для кожнага кантэксту Playwright у Node.js ці Python, падбірайце таймзону і лакаль пад IP і правярайце выхадны адрас.
Налада проксі
Проксі ў Scrapy: meta['proxy'], парадак middleware і ратацыя
Проксі HTTP(S) з аўтарызацыяй у Scrapy: задавайце request.meta['proxy'], стаўце middleware перад HttpProxyMiddleware (750), ратуйце IP і рэгулюйце тэмп.
IPV4 · united states
Пул прыватных IPv4-проксі ЗША для скрапінгу, адсочвання пазіцый і праверкі рэкламы
Купляйце прыватныя IPv4-проксі ЗША: статычныя IP дата-цэнтраў, адзін кліент на IP, безлімітны трафік. Для скрапінгу, адсочвання SERP і праверкі рэкламы.
IPV4 · vietnam
Прыватныя IPv4-проксі В'етнама: адзін фіксаваны IP на акаўнт у вялікіх аб'ёмах
Прыватныя IPv4-проксі В'етнама: статычныя датацэнтр-IP у адны рукі са зніжкай на аб'ём. Для сідынгу профіляў, дадатковых крам Shopee і софту.
ISP · united states
Статычны ISP-проксі ЗША: дамашні зарэгістраваны IP, які ніколі не змяняецца
Статычныя ISP-проксі ЗША ад хатніх правайдэраў. Адзін фіксаваны амерыканскі IP на акаўнт для прадаўцоў Amazon, рэкламных кабінетаў і Instagram.
Налада проксі
Selenium WebDriver і проксі з аўтарызацыяй: працоўныя варыянты
Аўтарызацыя проксі ў ChromeDriver: чаму --proxy-server ігнаруе user:pass, як працуюць selenium-wire або пашырэнне з onAuthRequired і як праверыць свой IP.