Проксі для вэб-скрэйпінгу: фіксаваны пул IP з неабмежаваным трафікам
Updated:
Проксі для вэб-скрэйпінгу з аплатай за гігабайт робяць краўлер даражэйшым кожны раз, калі старонка становіцца цяжэйшай, таму стабільныя запланаваныя краўлеры выгадней запускаць на фіксаваным пуле адрасоў з неабмежаваным трафікам. ProxyV4 прадае прыватныя IPv4 у сямі краінах і статычныя ISP у ЗША і В'етнаме — кожны з аплатай за IP без уліку трафіку. Вы падбіраеце памер пула па колькасці запытаў у секунду, якую вытрымліваюць мэтавыя сайты, а выніковы рахунак застаецца нязменным незалежна ад памеру старонак.
- 1 IP1,85 $
- Ад 3 IP1,70 $
- Ад 10 IP1,60 $
- Ад 25 IP1,50 $
- Ад 50 IP1,40 $
- Ад 100 IP1,30 $
- Ад 200 IP1,20 $
- Ад 500 IP1,10 $
- 1 IP1,85 $
- Ад 3 IP1,70 $
- Ад 10 IP1,60 $
- Ад 25 IP1,50 $
- Ад 50 IP1,40 $
- Ад 100 IP1,30 $
- Ад 200 IP1,20 $
- Ад 500 IP1,10 $
Аплата за IP у параўнанні з аплатай за ГБ для краўлера
| Пытанне | Статычны пул (за IP) | Тарыфікацыя трафіку (за ГБ) |
|---|---|---|
| Ад чаго залежыць кошт | Колькасць IP і тэрмін арэнды | Спампаваныя байты, уключаючы HTML, JS і рэсурсы |
| Што адбываецца, калі старонкі становяцца цяжэйшымі | Нічога; прапускная здольнасць не абмежавана | Рахунак расце разам з імі |
| Што абмяжоўвае прапускную здольнасць | Ліміт частаты запытаў на IP на кожным сайце | Бюджэт |
| Як маштабавацца | Дадаваць IP; цана за IP зніжаецца з ростам колькасці | Купляць больш трафіку |
Чаму скрэйперы блакуюць і што змяняе пул
Пры скрэйпінгу каталогаў, спісаў тавараў і публічных API большасць блакіровак звязана не з тым, хто вы, а з тым, як хутка вы адпраўляеце запыты: адзін адрас, які перавышае ліміт частаты запытаў сайта, атрымлівае HTTP 429. Пул ад 10 да 100 статычных IP, кожны з якіх працуе з умеранай колькасцю паралельных запытаў, утрымлівае кожны адрас ніжэй за парог, пакуль краўлер у цэлым працуе з патрэбнай вам хуткасцю.
Індывідуальнае выкарыстанне тут таксама дапамагае. Кожны IP ProxyV4 належыць аднаму кліенту на ўвесь час арэнды, таму гісторыя запытаў, якую бачыць мэтавы сайт на гэтым адрасе, належыць толькі вам.
Падбор пула пад мэтавы сайт
- Публічныя каталогі і высоканагружаныя API: прыватныя IPv4 у Злучаных Штатах або Сінгапуры, найніжэйшы кошт за IP
- В'етнамская электронная камерцыя і мясцовыя парталы: IPv4 В'етнама для доступу да лакальных старонак і мясцовых цэн
- Сайты, якія фільтруюць ASN хостынгаў за WAF: статычныя ISP у Злучаных Штатах або В'етнаме, зарэгістраваныя на спажывецкіх ISP-правайдараў, што звычайна азначае менш праверак Cloudflare
- Сайты, якім патрэбны новы IP на кожны запыт: ратацыйныя проксі В'етнама пакуль не прадаюцца; ліст чакання даступны на старонцы ратацыйных проксі В'етнама
Налады краўлера для доўгай працы статычнага пула
Кожная лінія выкарыстоўвае стандартныя ўліковыя даныя, таму ў Python проксі задаецца проста праз proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Размяркоўвайце запыты па спісе па чарзе (round-robin) і дадавайце выпадковыя затрымкі, прыкладна ад 2 да 5 секунд на IP для кожнага мэтавага дамена
- Выкарыстоўвайце злучэнні паўторна з дапамогай
requests.Session()або пула кліентаў, каб не марнаваць рэсурсы на TLS-рукапацісканне пры кожным запыце - У Playwright і Puppeteer блакуйце выявы, шрыфты і медыяфайлы, якія вы не парсіце
- Калі IP атрымлівае HTTP 429 ці 503, прыбярыце яго з ратацыі на астуджэнне і пачакайце перад паўторам, а не адпраўляйце запыт адразу
Крок за крокам
- 1
Купіце пул, разлічаны пад вашы мэтавыя сайты
Выберыце колькасць па краінах, напрыклад IPv4 ЗША, Японіі або Вялікабрытаніі. Зніжкі за аб'ём прымяняюцца аўтаматычна па меры павелічэння колькасці.
- 2
Ператварыце спіс у URL-адрасы
Устаўце радкі
ip:port:user:passу канвертар фарматаў проксі, каб атрымаць радкіhttp://user:pass@ip:portабо JSON. - 3
Падключыце пул да вашага фрэймворка
Выкарыстоўвайце інструкцыі па наладзе для Python Requests, Scrapy, Selenium або Node.js Axios.
- 4
Праверце хуткасць перад першым поўным запускам
Праверце час адказу з дапамогай тэсту хуткасці проксі і адключыце любыя лініі, якія працуюць павольна з вашым мэтавым сайтам.
Частыя пытанні
Ці ўлічваецца трафік скрэйпінгу на проксі ProxyV4?
Не. Прыватныя IPv4 і статычныя ISP аплачваюцца за IP на тэрмін арэнды з неабмежаванай прапускной здольнасцю.
Колькі старонак у дзень можа спампаваць адзін статычны IP?
Гэта залежыць ад ліміту запытаў мэтавага сайта. Пры 1–3 запытах у хвіліну на дамен адзін IP спампоўвае прыкладна ад 1,500 да 4,000 старонак у дзень, не прыцягваючы лішняй увагі.
Ці прадаяце вы ратацыйныя проксі для скрэйпінгу?
Пакуль не. Ратацыйныя проксі В'етнама даступныя толькі па спісе чакання. На дадзены момант статычны пул з размеркаваннем round-robin выконвае тую ж задачу для большасці запланаваных скрапінгаў.
Як хутка перавесці 50 проксі ў фармат Scrapy?
Устаўце іх у канвертар фарматаў проксі. Ён ператварае радкі ip:port:user:pass у URL-радкі або масіў JSON прама ў браўзеры.
Стварыце пул для скрэйпінгу з фіксаваным штомесячным коштам
Прыватныя IPv4 у сямі краінах і статычныя ISP у ЗША і В'етнаме з аплатай за IP і неабмежаваным трафікам.
Праверыць актуальныя цэны на IPv4 у ЗША