ProxyV4

Scrapy прокси: meta['proxy'], middleware-ийн эрэмбэ ба сэлгэлт

· Updated:

Scrapy-д проксиг хүсэлт тус бүрд request.meta['proxy'] = 'http://user:pass@ip:port' байдлаар тохируулдаг бөгөөд суурилагдсан HttpProxyMiddleware (эрэмбэ 750) нь user:pass хэсгийг Proxy-Authorization толгой мэдээлэл болгон хөрвүүлдэг. Үүний өмнө буюу 740 эрэмбэд ажиллах жижиг downloader middleware нэмснээр таны spider-ийн илгээж буй хүсэлт бүр таны ProxyV4 сангаас IP сонгох боломжтой болно.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Хувийн IPv4 (дата төв)
🇺🇸 Америкийн Нэгдсэн Улс
Бэлэн байгаа
Эхлэх үнэ
$ 1.10 / IP / сар
Тоо хэмжээний хөнгөлөлт
  • 1 IP$ 1.85
  • 3+ IP$ 1.70
  • 10+ IP$ 1.60
  • 25+ IP$ 1.50
  • 50+ IP$ 1.40
  • 100+ IP$ 1.30
  • 200+ IP$ 1.20
  • 500+ IP$ 1.10
Америкийн Нэгдсэн Улс худалдаж авах
Хувийн IPv4 (дата төв)
🇬🇧 Их Британи
Бэлэн байгаа
Эхлэх үнэ
$ 1.10 / IP / сар
Тоо хэмжээний хөнгөлөлт
  • 1 IP$ 1.85
  • 3+ IP$ 1.70
  • 10+ IP$ 1.60
  • 25+ IP$ 1.50
  • 50+ IP$ 1.40
  • 100+ IP$ 1.30
  • 200+ IP$ 1.20
  • 500+ IP$ 1.10
Их Британи худалдаж авах
Платформоорх прокси:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Middleware-ийн дугаар яагаад чухал вэ

Downloader middleware-үүд гадагш хүсэлт илгээх замд өсөх дарааллаар ажилладаг. 750 дээрх HttpProxyMiddleware нь meta['proxy']-г уншиж, нэвтрэх мэдээллийг URL-аас салган баталгаажуулалтын толгой бичдэг. Хэрэв таны өөрийн middleware проксиг дараа нь, тухайлбал 800 дээр тохируулбал суурилагдсан нь аль хэдийн ажиллачихсан байх тул нэвтрэх эрх хэзээ ч хөрвүүлэгдэхгүй бөгөөд прокси 407 алдаа буцаана. Өөрийнхийгөө 740 дээр бүртгүүлснээр эхэнд нь тавих болно.

ТохиргооСанал болгох утгаҮр нөлөө
request.meta['proxy']'http://user:pass@ip:port'Тухайн хүсэлтийг өгөгдсөн ProxyV4 проксигоор дамжуулна
Таны middleware-ийн эрэмбэ740HttpProxyMiddleware (750)-ийн өмнө ажиллах тул нэвтрэх мэдээллийг кодлоно
CONCURRENT_REQUESTS_PER_IP2-оос 4Нэг очих IP бүрд зэрэг илгээх хүсэлтийг хязгаарлах бөгөөд сервер бүрд хэт ачаалал өгөхгүй соёлтой хязгаарлалт юм
AUTOTHROTTLE_ENABLEDTrueЗорилтот серверийн хариу өгөх хурдад үндэслэн Scrapy-д хүлээх хугацааг ихэсгэх эсвэл багасгах боломж олгоно

Сэлгэх middleware-ийн ерөнхий бүтэц

  • from_crawler() дотор тохиргооноос проксигийн жагсаалтыг уншиж, middleware инстанс дээр хадгалах
  • process_request() дотор тухайн хүсэлтэд прокси заагаагүй бол request.meta['proxy'] = random.choice(self.proxies) гэж оноох
  • Хариу нь 429 эсвэл 503 ирвэл татгалзсан проксигийн оронд сангаас өөр прокси сонгон дахин оролдох
  • Хүсэлт хоорондын зай метроном шиг тогтмол биш, харилцан адилгүй байхын тулд DOWNLOAD_DELAY = 1.0-ийг RANDOMIZE_DOWNLOAD_DELAY = True-тэй хослуулах

Сангийн хэмжээг сонгох

Scrapy-ийн таталт минутад маш олон хүсэлт илгээж чаддаг тул IP-ийн тоо нь IP бүрийг хэр зөөлөн ашиглахыг тодорхойлдог. ProxyV4-д захиалгын доод хэмжээ байхгүй, IP-ийн тоо өсөх тусам нэгжийн үнэ буурдаг бөгөөд хувийн IPv4 дата хязгааргүй тул их хэмжээний таталт нь зурвасын өргөний хувьд бага хэмжээнийхтэй ижил үнэтэй байна. IP бүрийг зөвхөн нэг л хэрэглэгч ашигладаг тул түүний нэр хүнд зөвхөн таны таталтыг илтгэх бөгөөд өөр хэнийг ч харуулахгүй. Таталтын хэмжээ болон зүй зохистой байдлыг төлөвлөх талаар web scraping guide-аас үзнэ үү.

Алхам алхмаар

  1. 1

    Прокси URL-уудыг бэлтгэх

    Өөрийн ProxyV4-ийн ip:port:user:pass мөрүүдийг proxy format converter-оор http://user:pass@ip:port болгон хөрвүүлж, тохиргоо эсвэл файлд хадгална уу.

  2. 2

    ProxyPoolMiddleware бичих

    middlewares.py файлд process_request(self, request, spider) функцийг бичиж, request.meta['proxy'] = random.choice(self.proxies) гэж оноохоор тохируулна уу.

  3. 3

    Үүнийг суурилагдсаны өмнө бүртгүүлэх

    settings.py дотор DOWNLOADER_MIDDLEWARES руу 'myproject.middlewares.ProxyPoolMiddleware': 740-ийг нэмж, CONCURRENT_REQUESTS_PER_IP = 2 гэж тохируулна уу.

  4. 4

    Сэлгэлтийг шалгах

    scrapy shell эсвэл богино туршилтын spider ашиглан https://proxyv4.com/api/my-ip рүү хэд хэдэн удаа хүсэлт илгээж, ирж буй IP таны сан дахь хаягуудаар солигдож байгаа эсэхийг шалгана уу.

Түгээмэл асуултууд

800 эрэмбэтэй миний прокси middleware 407 алдаа аваад байна. Яагаад?

800 эрэмбэд энэ нь HttpProxyMiddleware (750)-ийн дараа ажилладаг тул таны прокси URL дахь user:pass нь хэзээ ч Proxy-Authorization толгой мэдээлэл болж хувирахгүй. Middleware-ээ 750-аас өмнө, жишээ нь 740 рүү шилжүүлнэ үү.

Зөвхөн нэг хүсэлтэд прокси тохируулж болох уу?

Тийм. Request үүсгэхдээ meta={'proxy': 'http://user:pass@ip:port'} гэж дамжуулахад л суурилагдсан middleware зөвхөн тэрхүү хүсэлтийн нэвтрэлтийг зохицуулна.

Сая сая хуудас татахад датаны хязгаарт тулах уу?

ProxyV4-ийн хувийн IPv4 эсвэл статик ISP проксид үгүй; хоёулаа хязгааргүй дататай. Бодит хязгаарлалт нь зорилтот сервер танд хэр хурдан татахыг зөвшөөрөхөөс хамаарна.

Эх сурвалж

Scrapy таталтад зориулсан хязгааргүй дататай статик IP-үүд

7 улс дахь хувийн IPv4 болон АНУ, Вьетнам дахь статик ISP, нэг IP-ээс эхлээд том сан хүртэл, шууд тооцоологдох бөөн үнийн хөнгөлөлттэй.

АНУ-ын шууд үнийг шалгах

Related articles

Платформоорх прокси
Веб скрапинг хийх прокси: хязгааргүй дататай тогтмол IP сан
Python, Scrapy, Playwright, Selenium-д зориулсан веб скрапинг прокси: хязгааргүй трафик, хувийн IPv4 болон статик ISP хаягийн сан, IP тутамд тогтмол үнэтэй.
Прокси тохиргоо
Баталгаажуулалттай проксигоор дамжуулан Python requests ашиглах алхамчилсан заавар
Баталгаажуулалттай HTTP(S) проксигоор Python хүсэлт илгээх: proxies dict үүсгэх, Session-д холбох, тусгай нууц үг кодлох, жагсаалт сэлгэх, IP шалгах.
Прокси тохиргоо
Playwright прокси баталгаажуулалт, context бүрд нэг статик IP
Playwright browser context бүрд Node.js эсвэл Python-оор баталгаажуулсан HTTP(S) прокси холбож, цагийн бүс, хэлийг IP-д тааруулан гаралтын хаягаа шалгаарай.
Үнэгүй хэрэгслүүд
Прокси жагсаалтыг хэрэгсэлдээ тохирох формат руу хөрвүүлээрэй
Хөтөч дээрээ ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON массив, FoxyProxy импорт файлын хооронд прокси жагсаалтыг бөөнөөр нь хөрвүүл.
Платформоорх прокси
SEO зэрэглэл хянах прокси: нутгийн хэрэглэгчийн хардаг илэрцийн хуудсыг хараарай
АНУ, Их Британи, Вьетнам, Япон зэрэг 7 зах зээлийн хувийн IPv4 проксигоор SEO зэрэглэл, орон нутгийн илэрц, зарыг нутгийн хэрэглэгчийн хардаг шиг шалгаарай.
Платформоорх прокси
Данс бүрд байнгын хаяг олгох Amazon худалдагчийн прокси
Seller Central, KDP, Merch-ийн Amazon прокси: данс бүрд АНУ-ын статик ISP эсвэл Их Британи/Японы хувийн IPv4. Зөвхөн танд түрээслүүлж, сунгахад хадгална.
IPV4 · united states
АНУ-ын хувийн IPv4 прокси сан: Өгөгдөл цуглуулах, эрэмбэ хянах, зар шалгахад
АНУ-ын хувийн IPv4 прокси худалдан аваарай: хязгааргүй дата, 1 IP-д 1 хэрэглэгч, Америкийн статик дата төвийн IP. Скрапинг, SERP болон зар шалгахад зориулав.
IPV4 · united kingdom
Их Британийн хувийн IPv4 прокси: Худалдааны талбар, хайлт болон кампанит ажилд
eBay UK, Amazon.co.uk судалгаа болон google.co.uk, зар шалгахад зориулсан, нэг хэрэглэгчид түрээслэгдэх Их Британийн статик дата төвийн хувийн IPv4 прокси.