Праектаванне скрапера вакол пула выдзеленых IP
Updated:
Проксі для вэб-скрапінгу размяркоўваюць запыты па многіх адрасах, каб ніводзін IP не нёс усю нагрузку збору. Для большасці задач пул прыватных адрасоў IPv4 — найбольш хуткі і эканамічны варыянт; статычныя адрасы ISP служаць страхоўкай для сайтаў, якія блакуюць дата-цэнтры. Вы ратуеце пул ва ўласным кодзе, таму заўсёды ведаеце, які IP спампаваў канкрэтную старонку.
Чаму адзін IP перастае працаваць
Сайты абмяжоўваюць колькасць запытаў з аднаго адраса. Краўлер, запушчаны з офіснай сеткі, хутка дасягае гэтага ліміту, і блакіроўка можа закрануць усіх астатніх у будынку. Пул проксі размяркоўвае нагрузку, хавае вашу ўласную сетку з логаў і дазваляе загружаць версію старонкі, якую бачаць карыстальнікі з пэўнай краіны.
Тыповыя карыстальнікі: каманды e-commerce для маніторынгу цэн і рэшткаў канкурэнтаў, аналітыкі для стварэння публічных датасэтаў, агрэгатары падарожжаў, нерухомасці і вакансій, а таксама распрацоўшчыкі, якія тэстуюць уласныя сайты з іншых краін.
Статычны пул супраць ратацыйнага шлюза
Са статычным пулам спіс адрасоў замацоўваецца за вамі на ўвесь тэрмін арэнды. Ваш планіроўшчык выбірае IP для кожнага запыту або сесіі, фіксуе яго і выводзіць з працы адрасы, на якіх пачынаецца абмежаванне хуткасці. Кожны IP выкарыстоўваецца выключна вамі, таму яго рэпутацыя залежыць толькі ад вашага трафіка, а фіксаваны спіс лёгка дадаць у белыя спісы ва ўнутраных інструментах.
Трафік на прыватных IPv4 і статычных ISP не абмяжоўваецца. Цяжкія старонкі, выявы і працяглы збор аплачваюцца за кожны IP, а не за гігабайты.
Выбар прадукту пад задачу
| Мэта | Прадукт | Прычына |
|---|---|---|
| Публічныя каталогі, API, большасць сайтаў | Private IPv4 | Хуткія, выгадныя, сем краін |
| Сайты, якія адхіляюць дыяпазоны дата-цэнтраў | Static ISP, US ці В'етнам | Адрасы, зарэгістраваныя на спажывецкіх ISP |
| Вельмі маштабны збор з сайтаў, якія падтрымліваюць IPv6 | IPv6 | Шмат адрасоў па нізкай цане за IP; пераканайцеся, што сайт прымае IPv6 |
| Лакалізаваныя старонкі ў Азіі | Private IPv4 у Японіі, Паўднёвай Карэі, Сінгапуры, Ганконгу ці В'етнаме | Загрузка таго, што бачаць мясцовыя наведвальнікі |
Памер пула і дысцыпліна запытаў
- Разлічвайце памер пула зыходзячы з мэтавай частаты запытаў: большая колькасць адрасоў з умеранай нагрузкай на IP служыць даўжэй, чым некалькі перагружаных адрасоў.
- Замацоўвайце адзін адрас на ўвесь час аўтарызаванай сесіі або сесіі кошыка, а затым пераключайцеся.
- Адпраўляйце рэалістычныя загалоўкі, дадавайце выпадковыя затрымкі паміж запытамі і рабіце паўзу пры HTTP 429 і 403.
- Правярайце адказы, каб старонкі з капчай і блакіроўкамі ніколі не траплялі ў датасэт.
- Правярайце адрасы праз proxy checker (да 100 за раз, паролі не захоўваюцца) і выдаляйце павольныя або заблакіраваныя.
Інтэграцыя пула ў ваш стэк
Кожны адрас працуе праз HTTP(S) або SOCKS5 з імем карыстальніка і паролем і выдаецца ў фармаце ip:port:user:pass у раздзеле Orders. Папулярныя бібліятэкі прымаюць гэты фармат наўпрост; глядзіце старонкі налад для Python requests, Scrapy, Playwright і Puppeteer. Дэсктопныя праграмы без уласных налад проксі можна накіраваць праз Proxifier. На старонцы проксі для вэб-скрапінгу сабраны рэкамендацыі пад канкрэтныя мэты.
Збірайце даныя адказна
Проксі змяняе пункт адпраўкі запыту, але не права на збор даных. Паважайце robots.txt, умовы выкарыстання сайта і заканадаўства аб абароне персанальных даных, якое да вас прымяняецца, і не збірайце асабістыя даныя без адпаведнага дазволу на апрацоўку. Перагрузка сайта паралельнымі запытамі, скрапінг закрытых зон з чужымі акаўнтамі і любыя іншыя злоўжыванні таксама парушаюць нашы ўмовы.
Частыя пытанні
З якіх проксі лепш пачаць скрапінг: дата-цэнтры ці ISP?
З дата-цэнтраў. Private IPv4 працуюць хутчэй і даступныя ў большай колькасці краін. Пераводзьце задачу на статычныя ISP толькі тады, калі сайт блакуе дыяпазоны дата-цэнтраў. У параўнанні тыпаў проксі падрабязна апісаны гэты выбар.
Ці абавязкова выкарыстоўваць сэрвіс ратацыйных проксі?
Не. Статычны пул з ратацыяй у вашым кодзе дае поўны кантроль над тым, які адрас апрацоўвае кожны запыт.
Ці ўлічваецца трафік?
Не. Private IPv4 і статычныя ISP маюць неабмежаваны трафік; вы плаціце за кожны IP за тэрмін арэнды.
Ці магу я выкарыстоўваць SOCKS5 са Scrapy або Playwright?
Так. Платныя проксі падтрымліваюць HTTP(S) і SOCKS5 з імем карыстальніка і паролем; пераключыце заказ на SOCKS5 (або абодва) на яго старонцы ў панэлі кіравання. Убудаваны middleware у Scrapy працуе толькі з HTTP, таму для яго пакідайце HTTP. Глядзіце HTTP супраць SOCKS5.
Ці законны вэб-скрапінг?
Гэта залежыць ад таго, што вы збіраеце, дзе працуеце і якімі з'яўляюцца ўмовы сайта. Збор публічных неперсанальных даных з выкананнем robots.txt з'яўляецца звычайнай практыкай; удакладніце правілы для вашага канкрэтнага праекта.
Стварыце пул для скрапінгу
Заказвайце столькі прыватных адрасоў IPv4, колькі патрабуецца для вашага збору; цана за IP зніжаецца пры павелічэнні колькасці, а трафік не абмяжоўваецца.
Паглядзець цэны на дата-цэнтры ў US