ProxyV4

Праектаванне скрапера вакол пула выдзеленых IP

Updated:

Проксі для вэб-скрапінгу размяркоўваюць запыты па многіх адрасах, каб ніводзін IP не нёс усю нагрузку збору. Для большасці задач пул прыватных адрасоў IPv4 — найбольш хуткі і эканамічны варыянт; статычныя адрасы ISP служаць страхоўкай для сайтаў, якія блакуюць дата-цэнтры. Вы ратуеце пул ва ўласным кодзе, таму заўсёды ведаеце, які IP спампаваў канкрэтную старонку.

Чаму адзін IP перастае працаваць

Сайты абмяжоўваюць колькасць запытаў з аднаго адраса. Краўлер, запушчаны з офіснай сеткі, хутка дасягае гэтага ліміту, і блакіроўка можа закрануць усіх астатніх у будынку. Пул проксі размяркоўвае нагрузку, хавае вашу ўласную сетку з логаў і дазваляе загружаць версію старонкі, якую бачаць карыстальнікі з пэўнай краіны.

Тыповыя карыстальнікі: каманды e-commerce для маніторынгу цэн і рэшткаў канкурэнтаў, аналітыкі для стварэння публічных датасэтаў, агрэгатары падарожжаў, нерухомасці і вакансій, а таксама распрацоўшчыкі, якія тэстуюць уласныя сайты з іншых краін.

Статычны пул супраць ратацыйнага шлюза

Са статычным пулам спіс адрасоў замацоўваецца за вамі на ўвесь тэрмін арэнды. Ваш планіроўшчык выбірае IP для кожнага запыту або сесіі, фіксуе яго і выводзіць з працы адрасы, на якіх пачынаецца абмежаванне хуткасці. Кожны IP выкарыстоўваецца выключна вамі, таму яго рэпутацыя залежыць толькі ад вашага трафіка, а фіксаваны спіс лёгка дадаць у белыя спісы ва ўнутраных інструментах.

Трафік на прыватных IPv4 і статычных ISP не абмяжоўваецца. Цяжкія старонкі, выявы і працяглы збор аплачваюцца за кожны IP, а не за гігабайты.

Выбар прадукту пад задачу

МэтаПрадуктПрычына
Публічныя каталогі, API, большасць сайтаўPrivate IPv4Хуткія, выгадныя, сем краін
Сайты, якія адхіляюць дыяпазоны дата-цэнтраўStatic ISP, US ці В'етнамАдрасы, зарэгістраваныя на спажывецкіх ISP
Вельмі маштабны збор з сайтаў, якія падтрымліваюць IPv6IPv6Шмат адрасоў па нізкай цане за IP; пераканайцеся, што сайт прымае IPv6
Лакалізаваныя старонкі ў АзііPrivate IPv4 у Японіі, Паўднёвай Карэі, Сінгапуры, Ганконгу ці В'етнамеЗагрузка таго, што бачаць мясцовыя наведвальнікі

Памер пула і дысцыпліна запытаў

  • Разлічвайце памер пула зыходзячы з мэтавай частаты запытаў: большая колькасць адрасоў з умеранай нагрузкай на IP служыць даўжэй, чым некалькі перагружаных адрасоў.
  • Замацоўвайце адзін адрас на ўвесь час аўтарызаванай сесіі або сесіі кошыка, а затым пераключайцеся.
  • Адпраўляйце рэалістычныя загалоўкі, дадавайце выпадковыя затрымкі паміж запытамі і рабіце паўзу пры HTTP 429 і 403.
  • Правярайце адказы, каб старонкі з капчай і блакіроўкамі ніколі не траплялі ў датасэт.
  • Правярайце адрасы праз proxy checker (да 100 за раз, паролі не захоўваюцца) і выдаляйце павольныя або заблакіраваныя.

Інтэграцыя пула ў ваш стэк

Кожны адрас працуе праз HTTP(S) або SOCKS5 з імем карыстальніка і паролем і выдаецца ў фармаце ip:port:user:pass у раздзеле Orders. Папулярныя бібліятэкі прымаюць гэты фармат наўпрост; глядзіце старонкі налад для Python requests, Scrapy, Playwright і Puppeteer. Дэсктопныя праграмы без уласных налад проксі можна накіраваць праз Proxifier. На старонцы проксі для вэб-скрапінгу сабраны рэкамендацыі пад канкрэтныя мэты.

Збірайце даныя адказна

Проксі змяняе пункт адпраўкі запыту, але не права на збор даных. Паважайце robots.txt, умовы выкарыстання сайта і заканадаўства аб абароне персанальных даных, якое да вас прымяняецца, і не збірайце асабістыя даныя без адпаведнага дазволу на апрацоўку. Перагрузка сайта паралельнымі запытамі, скрапінг закрытых зон з чужымі акаўнтамі і любыя іншыя злоўжыванні таксама парушаюць нашы ўмовы.

Частыя пытанні

З якіх проксі лепш пачаць скрапінг: дата-цэнтры ці ISP?

З дата-цэнтраў. Private IPv4 працуюць хутчэй і даступныя ў большай колькасці краін. Пераводзьце задачу на статычныя ISP толькі тады, калі сайт блакуе дыяпазоны дата-цэнтраў. У параўнанні тыпаў проксі падрабязна апісаны гэты выбар.

Ці абавязкова выкарыстоўваць сэрвіс ратацыйных проксі?

Не. Статычны пул з ратацыяй у вашым кодзе дае поўны кантроль над тым, які адрас апрацоўвае кожны запыт.

Ці ўлічваецца трафік?

Не. Private IPv4 і статычныя ISP маюць неабмежаваны трафік; вы плаціце за кожны IP за тэрмін арэнды.

Ці магу я выкарыстоўваць SOCKS5 са Scrapy або Playwright?

Так. Платныя проксі падтрымліваюць HTTP(S) і SOCKS5 з імем карыстальніка і паролем; пераключыце заказ на SOCKS5 (або абодва) на яго старонцы ў панэлі кіравання. Убудаваны middleware у Scrapy працуе толькі з HTTP, таму для яго пакідайце HTTP. Глядзіце HTTP супраць SOCKS5.

Ці законны вэб-скрапінг?

Гэта залежыць ад таго, што вы збіраеце, дзе працуеце і якімі з'яўляюцца ўмовы сайта. Збор публічных неперсанальных даных з выкананнем robots.txt з'яўляецца звычайнай практыкай; удакладніце правілы для вашага канкрэтнага праекта.

Стварыце пул для скрапінгу

Заказвайце столькі прыватных адрасоў IPv4, колькі патрабуецца для вашага збору; цана за IP зніжаецца пры павелічэнні колькасці, а трафік не абмяжоўваецца.

Паглядзець цэны на дата-цэнтры ў US

Related articles

Сцэнарыі выкарыстання
Наладка адсочвання пазіцый для атрымання дакладных лакальных вынікаў
Правярайце пазіцыі ў Google так, як іх бачаць мясцовыя карыстальнікі: выдзяляйце IP на рынак, рэгулюйце запыты і пазбягайце памылак, што скажаюць даныя.
Проксі паводле платформаў
Проксі для вэб-скрэйпінгу: фіксаваны пул IP з неабмежаваным трафікам
Проксі для вэб-скрэйпінгу на Python, Scrapy, Playwright і Selenium: пул прыватных IPv4 і статычных ISP-адрасоў, безлімітны трафік, фіксаваная цана за IP.
База ведаў
Дата-цэнтр, ISP ці рэзідэнцкія: агляд трох тыпаў проксі-IP
ISP, дата-цэнтр і рэзідэнцкія проксі: каму належыць IP, дзе працуе, колькі жыве, як аплачваецца і што падыходзіць для акаўнтаў, рэкламы ці збору звестак.
Налада проксі
Проксі ў Scrapy: meta['proxy'], парадак middleware і ратацыя
Проксі HTTP(S) з аўтарызацыяй у Scrapy: задавайце request.meta['proxy'], стаўце middleware перад HttpProxyMiddleware (750), ратуйце IP і рэгулюйце тэмп.
Бясплатныя інструменты
Масавая праверка проксі: статус, выходны IP і затрымка
Бясплатны анлайн-чэкер проксі: устаўце да 100 радкоў ip:port:user:pass і праверце, якія проксі працуюць, іх выходны IP, затрымку і значэнне кожнай памылкі.
ISP · vietnam
Статычныя ISP-проксі В'етнама для асноўных крам і рэкламных акаўнтаў
Статычныя ISP-проксі В'етнама на IP спажывецкіх правайдараў. Фіксаваны IP для галоўных крам Shopee, TikTok Shop, рэкламных акаўнтаў Facebook і Zalo OA.
ISP · united states
Статычны ISP-проксі ЗША: дамашні зарэгістраваны IP, які ніколі не змяняецца
Статычныя ISP-проксі ЗША ад хатніх правайдэраў. Адзін фіксаваны амерыканскі IP на акаўнт для прадаўцоў Amazon, рэкламных кабінетаў і Instagram.
Проксі паводле платформаў
Проксі для прадаўцоў TikTok Shop з некалькімі крамамі
Проксі TikTok Shop для мультыакаўнтынгу: статычны ISP або прыватны IPv4 на краму ў ЗША, В'етнаме, Вялікабрытаніі ці Сінгапуры з захаваннем IP пры падаўжэнні.