ProxyV4

Scrapy-proxyk: meta['proxy'], middleware-sorrend és rotáció

· Updated:

A Scrapyben a proxyt kérésenként a request.meta['proxy'] = 'http://user:pass@ip:port' beállítással adhatja meg, a beépített HttpProxyMiddleware (sorrend: 750) pedig a user:pass részt Proxy-Authorization fejléccé alakítja. Ha beiktat elé egy egyszerű downloader middleware-t a 740-es prioritással, a spider által indított minden kérés választhat egy IP-t a ProxyV4 készletéből.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privát IPv4 (adatközponti)
🇺🇸 Egyesült Államok
Készleten
Kezdőár:
1,10 USD / IP / hónap
Mennyiségi kedvezmények
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Vásárlás: Egyesült Államok
Privát IPv4 (adatközponti)
🇬🇧 Egyesült Királyság
Készleten
Kezdőár:
1,10 USD / IP / hónap
Mennyiségi kedvezmények
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Vásárlás: Egyesült Királyság

Miért számít a middleware sorszáma

A downloader middleware-ek kimenő irányban növekvő számsorrendben futnak le. A 750-es sorszámú HttpProxyMiddleware beolvassa a meta['proxy'] értékét, eltávolítja a hitelesítési adatokat az URL-ből, és előállítja az auth fejlécet. Ha a saját middleware-e ezt követően – például 800-as értéknél – állítja be a proxyt, a beépített összetevő már lefutott, a hitelesítési adatok átalakítása nem történik meg, és a proxy 407-es hibát ad. Ha a sajátját a 740-es számmal regisztrálja, az kerül előre.

BeállításJavasolt értékHatás
request.meta['proxy']'http://user:pass@ip:port'Az adott kérést a megadott ProxyV4 proxyn keresztül küldi el
A saját middleware sorrendje740A HttpProxyMiddleware (750) előtt fut le, így a bejelentkezési adatok kódolása megtörténik
CONCURRENT_REQUESTS_PER_IP2 és 4 közöttKorlátozza az egy cél-IP-re jutó párhuzamos kérések számát, kímélve a célkiszolgálót
AUTOTHROTTLE_ENABLEDTrueLehetővé teszi, hogy a Scrapy a céloldal válaszidejéhez igazítva növelje vagy csökkentse a késleltetést

Egy rotációs middleware vázlata

  • Olvassa be a proxylistát a beállításokból a from_crawler() metódusban, és tárolja a middleware példányán
  • A process_request() metódusban rendelje hozzá a request.meta['proxy'] = random.choice(self.proxies) értéket, hacsak a kérés már nem tartalmaz proxyt
  • Ha a válasz 429 vagy 503 kóddal érkezik vissza, próbálja újra a készlet egy másik proxyjával a visszautasított helyett
  • Kombinálja a DOWNLOAD_DELAY = 1.0 beállítást a RANDOMIZE_DOWNLOAD_DELAY = True opcióval, hogy a kérések közötti időköz változó legyen, és ne metronómként ketyegjen

A készlet méretezése

Egy Scrapy crawl percenként rendkívül sok kérést indíthat, így az IP-k száma határozza meg, mekkora terhelés jut egy-egy címre. A(z) ProxyV4 esetében nincs minimális rendelési limit, a darabár a mennyiség növekedésével csökken, a privát IPv4 adatforgalom pedig korlátlan, így a sávszélesség szempontjából egy nagyobb adatgyűjtés sem kerül többe egy kisebbnél. Minden IP-t kizárólag egyetlen ügyfél használ, így a hírneve csakis az Ön lekéréseit tükrözi, senki másét. A lekérdezési volumen és az udvarias terhelés megtervezéséhez tekintse meg a web scraping útmutatót.

Lépésről lépésre

  1. 1

    Készítse elő a proxy URL-eket

    Alakítsa át a ProxyV4 ip:port:user:pass sorait http://user:pass@ip:port formátumra a proxyformátum-átalakítóval, majd mentse őket a beállításokba vagy egy fájlba.

  2. 2

    Írja meg a ProxyPoolMiddleware osztályt

    A middlewares.py fájlban valósítsa meg a process_request(self, request, spider) metódust úgy, hogy beállítsa a request.meta['proxy'] = random.choice(self.proxies) értéket.

  3. 3

    Regisztrálja a beépített összetevő elé

    A settings.py fájlban adja hozzá a 'myproject.middlewares.ProxyPoolMiddleware': 740 értéket a DOWNLOADER_MIDDLEWARES szótárhoz, és állítsa be a CONCURRENT_REQUESTS_PER_IP = 2 értéket.

  4. 4

    Ellenőrizze a rotációt

    Kérje le a https://proxyv4.com/api/my-ip címet néhányszor a scrapy shell vagy egy rövid teszt-spider segítségével, és ellenőrizze, hogy a visszakapott IP-cím változik-e a készletéből.

Gyakran ismételt kérdések

A 800-as prioritású proxy middleware 407-es hibát ad. Miért?

A 800-as értéknél a HttpProxyMiddleware (750) után fut le, így a proxy URL-ben lévő user:pass soha nem alakul át Proxy-Authorization fejléccé. Állítsa a middleware sorszámát 750 alá, például 740-re.

Beállíthatom a proxyt csak egyetlen kéréshez?

Igen. Adja át a meta={'proxy': 'http://user:pass@ip:port'} paramétert a Request létrehozásakor; a beépített middleware kizárólag ennél a kérésnél intézi a bejelentkezést.

Több millió oldal crawlolása eléri az adatforgalmi korlátot?

A(z) ProxyV4 privát IPv4 vagy statikus ISP proxyjain nem; mindkettő korlátlan sávszélességet biztosít. A gyakorlati korlátot az jelenti, hogy a céloldal milyen gyors adatgyűjtést engedélyez.

Források

Korlátlan forgalmú statikus IP-k Scrapy-adatgyűjtéshez

Privát IPv4 7 országban, valamint statikus ISP az Egyesült Államokban és Vietnámban, az egyetlen IP-től a nagyméretű készletig, dinamikus mennyiségi árazással.

Élő USA-árak megtekintése

Related articles

Proxyk platform szerint
Proxyk web scrapinghez: fix IP-pool korlátlan adatforgalommal
Web scraping proxyk Python, Scrapy, Playwright és Selenium eszközökhöz: privát IPv4 és statikus ISP-címek, korlátlan sávszélesség, fix IP-alapú árazás.
Proxybeállítás
Python requests hitelesített proxyn keresztül, lépésről lépésre
Küldjön Python kéréseket hitelesített HTTP(S) proxyn át: készítsen proxies dictet, csatolja Sessionhöz, kódolja a jelszót, váltson listát, ellenőrizze az IP-t.
Proxybeállítás
Playwright proxy-hitelesítés, kontextusonként egy statikus IP
Adjon a Playwright kontextusokhoz hitelesített HTTP(S) proxyt Node.js vagy Pythonban, igazítsa az időzónát és nyelvet az IP-hez, és ellenőrizze a kilépő címet.
Ingyenes eszközök
Alakítsa át a proxylistát az eszköze által igényelt formátumra
Alakítson át proxylistákat a böngészőben ip:port:user:pass, user:pass@ip:port, http:// URL-ek, SOCKS5 URI-k, JSON-tömbök és FoxyProxy-fájlok között, tömegesen.
Proxyk platform szerint
Proxyk SEO pozíciókövetéshez: lássa a találati oldalt a helyi keresők szemével
SEO pozíciókövető proxyk dedikált IPv4-gyel az USA-ban, az Egyesült Királyságban, Vietnámban és további piacokon a pontos helyi találatokért és hirdetésekért.
Proxyk platform szerint
Amazon eladói proxyk, amelyek állandó címet biztosítanak minden fióknak
Amazon-proxyk Seller Centralhoz, KDP-hez és Merch-höz: amerikai statikus ISP vagy brit/japán privát IPv4 fiókonként, csak Önnek, megújításkor megtartva.
IPV4 · united states
Amerikai privát IPv4 proxypool adatgyűjtéshez, rangsorkövetéshez és hirdetésellenőrzéshez
Vásároljon privát USA IPv4 proxyt: statikus amerikai adatközponti IP-k, IP-nként egy ügyfél, korlátlan sávszélesség scrapingre, SERP- és hirdetés-ellenőrzésre.
IPV4 · united kingdom
Egyesült királyságbeli privát IPv4 proxy piacterekhez, kereséshez és kampányokhoz
Brit privát IPv4 proxy kizárólagos statikus adatközponti IP-vel: eBay UK és Amazon.co.uk kutatáshoz, google.co.uk követéshez és brit hirdetés-ellenőrzéshez.