ProxyV4

Scrapy проксилери: meta['proxy'], middleware ирети жана ротация

· Updated:

Scrapy'де прокси ар бир сурамга request.meta['proxy'] = 'http://user:pass@ip:port' аркылуу орнотулат жана камтылган HttpProxyMiddleware (ирети 750) user:pass бөлүгүн Proxy-Authorization аталышына айлантат. Андан мурун, 740 иретинде иштеген чакан downloader middleware кошуңуз, ошондо спайдериңиз жөнөткөн ар бир сурам сиздин ProxyV4 пулуңуздан IP тандай алат.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Жеке IPv4 (дата-борбор)
🇺🇸 Америка Кошмо Штаттары
Кампада бар
Баштап
1,10 USD / IP / ай
Көлөмгө жараша арзандатуулар
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Америка Кошмо Штаттары сатып алуу
Жеке IPv4 (дата-борбор)
🇬🇧 Улуу Британия
Кампада бар
Баштап
1,10 USD / IP / ай
Көлөмгө жараша арзандатуулар
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Улуу Британия сатып алуу
Платформалар боюнча проксилер:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Эмне үчүн middleware номери маанилүү

Downloader middleware'лер чыгыш жолунда өсүү тартибинде иштейт. 750 иретиндеги HttpProxyMiddleware meta['proxy'] маанисин окуйт, URL'ден логин-паролду алып салат жана аутентификация аталышын жазат. Эгер сиздин жеке middleware проксини андан кийин, мисалы 800 иретинде орнотсо, камтылган компонент иштеп бүткөн болот, логин-пароль эч качан өзгөртүлбөйт жана прокси 407 катасын берет. Өзүңүздүкүн 740 ирети менен каттоо аны биринчи орунга коёт.

ОрнотууСунушталган мааниНатыйжасы
request.meta['proxy']'http://user:pass@ip:port'Ошол сурамды көрсөтүлгөн ProxyV4 проксиси аркылуу жөнөтөт
Сиздин middleware иретиңиз740HttpProxyMiddleware (750) алдында иштейт, ошондуктан логин-пароль коддолот
CONCURRENT_REQUESTS_PER_IP2ден 4кө чейинАр бир максаттуу IPге карата параллелдүү сурамдарды чектейт, бул ар бир серверге күч келтирүүнү сылык чектөө болуп саналат
AUTOTHROTTLE_ENABLEDTrueМаксаттуу сервердин жооп берүү ылдамдыгына жараша Scrapy'ге кечигүүлөрдү узартууга же кыскартууга мүмкүндүк берет

Ротациялык middleware'дин кыскача түзүлүшү

  • from_crawler() ичиндеги settings'тен проксилер тизмесин окуп, аны middleware нускасында сактаңыз
  • Эгер сурамда прокси көрсөтүлө элек болсо, process_request() ичинде request.meta['proxy'] = random.choice(self.proxies) деп дайындаңыз
  • Жооп 429 же 503 болуп келгенде, жаңы эле баш тартылган проксинин ордуна пулдагы башка прокси менен кайра аракет кылыңыз
  • Сурамдардын ортосундагы интервал метроном сыяктуу бир калыпта болбой, өзгөрүп турушу үчүн DOWNLOAD_DELAY = 1.0 менен RANDOMIZE_DOWNLOAD_DELAY = True айкалыштырыңыз

Пулдун көлөмүн тандоо

Scrapy краулинги мүнөтүнө көп сандагы сурамдарды жөнөтө алат, андыктан IPлердин саны ар бир даректин канчалык жумшак колдонулушун аныктайт. ProxyV4 менен минималдуу буйрутма жок жана саны көбөйгөн сайын ар бир IPнин баасы арзандайт, ошондой эле жеке IPv4 трафиги чектелбейт, андыктан трафик жагынан чоң краулинг кичинекей краулинг сыяктуу эле баада болот. Ар бир IP бир гана кардар тарабынан колдонулат, ошондуктан анын бедели башка эч кимди эмес, сиздин гана краулингиңизди чагылдырат. Краулингдин көлөмүн жана сылыктык эрежелерин пландаштыруу үчүн веб-скрейпинг боюнча колдонмону караңыз.

Кадам-кадам боюнча

  1. 1

    Прокси URL'дерин даярдоо

    ProxyV4 ip:port:user:pass саптарыңызды прокси форматын конвертер аркылуу http://user:pass@ip:port форматына өзгөртүп, аларды settings'те же файлда сактаңыз.

  2. 2

    ProxyPoolMiddleware жазуу

    middlewares.py ичинде process_request(self, request, spider) функциясын request.meta['proxy'] = random.choice(self.proxies) коё тургандай кылып ишке ашырыңыз.

  3. 3

    Аны камтылган компоненттен мурун каттаңыз

    settings.py файлында DOWNLOADER_MIDDLEWARES бөлүмүнө 'myproject.middlewares.ProxyPoolMiddleware': 740 кошуп, CONCURRENT_REQUESTS_PER_IP = 2 деп коюңуз.

  4. 4

    Ротацияны текшериңиз

    scrapy shell же кыска тесттик спайдер менен https://proxyv4.com/api/my-ip дарегине бир нече жолу сурам жөнөтүп, кайтарылган IP пулуңуздагы даректерге өзгөрүп жатканын текшериңиз.

Көп берилүүчү суроолор

800 артыкчылыгындагы менин прокси middleware'им 407 каталарын алып жатат. Эмне үчүн?

800 иретинде ал HttpProxyMiddleware (750) кийин иштейт, ошондуктан прокси URL'деги user:pass эч качан Proxy-Authorization аталышына айланбайт. Middleware'иңизди 750дөн төмөн жылдырыңыз, мисалы 740.

Проксини бир гана сурам үчүн орното аламбы?

Ооба. Request түзгөндө meta={'proxy': 'http://user:pass@ip:port'} бериңиз; камтылган middleware логинди ошол сурам үчүн гана иштетет.

Миллиондогон барактарды краулинг кылуу трафик чегине жетеби?

ProxyV4 жеке IPv4 же статикалык ISP проксилеринде эмес; экөөндө тең чексиз трафик бар. Практикалык чектөө — максаттуу сайттын сизге канчалык тез краулинг кылууга уруксат бергенинде.

Булактар

Scrapy краулинги үчүн чексиз статикалык IPлер

7 өлкөдөгү жеке IPv4 жана АКШ менен Вьетнамдагы статикалык ISP, бир IPден баштап чоң пулга чейин, реалдуу көлөмдүк баалар менен.

АКШнын актуалдуу бааларын көрүү

Related articles

Платформалар боюнча проксилер
Веб-скрейпинг үчүн проксилер: чексиз трафиктүү туруктуу IP пулу
Python, Scrapy, Playwright жана Selenium үчүн веб-скрейпинг проксилери: жеке IPv4 жана статикалык ISP пулу, чексиз трафик жана ар бир IP үчүн туруктуу баа.
Прокси орнотуу
Python requests аутентификацияланган прокси аркылуу, кадам-кадамы менен
Python сурамдарын аутентификацияланган HTTP(S) прокси аркылуу жөнөтүңүз: proxies түзүү, Session'го байлоо, сырсөздү коддоо, тизмени айлантуу жана IP текшерүү.
Прокси орнотуу
Playwright прокси аутентификациясы, ар бир контекстке бир статикалык IP
Node.js же Python'до ар бир Playwright контекстине аутентификациялуу HTTP(S) прокси берип, убакыт алкагы менен тилди IP'ге шайкештеп, чыгуу дарегин текшериңиз.
Акысыз куралдар
Прокси тизмесин куралыңыз талап кылган форматка өзгөртүңүз
Браузерде прокси тизмелерин ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON массиви жана FoxyProxy файлдары арасында жапырт алмаштырыңыз.
Платформалар боюнча проксилер
SEO позицияларын көзөмөлдөө үчүн проксилер: жергиликтүү колдонуучу көргөн натыйжаларды көрүңүз
АКШ, Улуу Британия, Вьетнам, Япония жана дагы 4 рынокто жеке IPv4 проксилери: позициялар, жергиликтүү топтомдор жана жарнамалар жергиликтүүдөй көрүнөт.
Платформалар боюнча проксилер
Ар бир аккаунтка туруктуу дарек берүүчү Amazon сатуучу проксилери
Seller Central, KDP, Merch үчүн Amazon проксилери: бир аккаунтка бир АКШ статикалык ISP же Британия/Япония жеке IPv4; сизге гана берилип, узартууда сакталат.
IPV4 · united states
Скрейпинг, позицияларга көз салуу жана жарнаманы текшерүү үчүн АКШнын жеке IPv4 прокси пулу
АКШ жеке IPv4 проксилерин сатып алыңыз: туруктуу дата-борбор IPлери, бир кардар үчүн бир IP, чексиз трафик. Скрейпинг, SERP жана жарнама текшерүү үчүн.
IPV4 · united kingdom
Маркетплейстер, издөө жана өнөктүктөр үчүн Улуу Британиянын жеке IPv4 проксиси
Британиянын туруктуу дата-борбор IP дареги бар жеке IPv4 прокси: eBay UK, Amazon.co.uk анализи, google.co.uk позициялары жана жарнама текшерүү үчүн.