ProxyV4

Scrapy starpniekserveri: meta['proxy'], starpprogrammatūras secība un rotācija

· Updated:

Scrapy starpniekserveris tiek iestatīts katram pieprasījumam ar request.meta['proxy'] = 'http://user:pass@ip:port', un iebūvētā HttpProxyMiddleware (secība 750) pārvērš daļu user:pass par Proxy-Authorization galveni. Pievienojiet nelielu lejupielādētāja starpprogrammatūru, kas darbojas pirms tās ar prioritāti 740, un katrs jūsu zirnekļa ģenerētais pieprasījums varēs izvēlēties IP no jūsu ProxyV4 pūla.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privāts IPv4 (datu centrs)
🇺🇸 Amerikas Savienotās Valstis
Pieejams
No
1,10 $ / IP / mēnesī
Apjoma atlaides
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Pirkt Amerikas Savienotās Valstis
Privāts IPv4 (datu centrs)
🇬🇧 Apvienotā Karaliste
Pieejams
No
1,10 $ / IP / mēnesī
Apjoma atlaides
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Pirkt Apvienotā Karaliste

Kāpēc starpprogrammatūras numuram ir nozīme

Izejošajā ceļā lejupielādētāja starpprogrammatūras tiek izpildītas augošā secībā. HttpProxyMiddleware ar numuru 750 nolasa meta['proxy'], noņem akreditācijas datus no URL un ieraksta autentifikācijas galveni. Ja jūsu pašu starpprogrammatūra iestata starpniekserveri pēc tam, piemēram, pie 800, iebūvētā jau ir izpildījusies, akreditācijas dati netiek konvertēti, un starpniekserveris atbild ar 407. Reģistrējot savējo pie 740, tā tiks palaista vispirms.

IestatījumsIeteicamā vērtībaEfekts
request.meta['proxy']'http://user:pass@ip:port'Nosūta šo pieprasījumu caur norādīto ProxyV4 starpniekserveri
Jūsu starpprogrammatūras secība740Darbojas pirms HttpProxyMiddleware (750), tāpēc pieteikšanās dati tiek kodēti
CONCURRENT_REQUESTS_PER_IP2 līdz 4Ierobežo paralēlos pieprasījumus katrai mērķa IP, pieklājīgi ierobežojot slodzi uz katru serveri
AUTOTHROTTLE_ENABLEDTrueĻauj Scrapy palielināt vai saīsināt aiztures atkarībā no tā, cik ātri mērķis atbild

Rotācijas starpprogrammatūra īsumā

  • Nolasiet starpniekserveru sarakstu no iestatījumiem funkcijā from_crawler() un saglabājiet to starpprogrammatūras instancē
  • Funkcijā process_request() piešķiriet request.meta['proxy'] = random.choice(self.proxies), ja vien pieprasījumam tāds jau nav norādīts
  • Kad atbilde atgriežas ar statusu 429 vai 503, mēģiniet vēlreiz ar citu starpniekserveri no pūla, nevis to, kurš tikko tika noraidīts
  • Kombinējiet DOWNLOAD_DELAY = 1.0 ar RANDOMIZE_DOWNLOAD_DELAY = True, lai intervāls starp pieprasījumiem mainītos, nevis tikšķētu kā metronoms

Pūla izmēra izvēle

Scrapy rāpošana var nosūtīt daudz pieprasījumu minūtē, tāpēc IP adrešu skaits nosaka, cik saudzīgi katra no tām tiek izmantota. Ar ProxyV4 nav minimālā pasūtījuma, un cena par IP samazinās, pieaugot daudzumam, turklāt privātās IPv4 datplūsma netiek uzskaitīta, tāpēc joslas platuma ziņā apjomīga rāpošana maksā tikpat, cik neliela. Katru IP izmanto tikai viens klients, tāpēc tās reputācija atspoguļo tikai jūsu veikto rāpošanu un neviena cita. Lai plānotu rāpošanas apjomu un pieklājību, skatiet tīmekļa datu vākšanas ceļvedi.

Soli pa solim

  1. 1

    Sagatavojiet starpniekserveru URL

    Pārveidojiet savas ProxyV4 ip:port:user:pass rindas par http://user:pass@ip:port, izmantojot starpniekserveru formāta pārveidotāju, un saglabājiet tās iestatījumos vai failā.

  2. 2

    Izveidojiet ProxyPoolMiddleware

    Failā middlewares.py ieviesiet process_request(self, request, spider), lai tas iestatītu request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Reģistrējiet to pirms iebūvētās starpprogrammatūras

    Failā settings.py pievienojiet 'myproject.middlewares.ProxyPoolMiddleware': 740 sarakstam DOWNLOADER_MIDDLEWARES un iestatiet CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Pārbaudiet rotāciju

    Veiciet pieprasījumu uz https://proxyv4.com/api/my-ip dažas reizes, izmantojot scrapy shell vai īsu testa spider, un pārliecinieties, ka saņemtā IP mainās visā jūsu pūlā.

Biežāk uzdotie jautājumi

Mana starpniekserveru starpprogrammatūra ar prioritāti 800 saņem 407 kļūdas. Kāpēc?

Ar vērtību 800 tā tiek palaista pēc HttpProxyMiddleware (750), tāpēc user:pass jūsu starpniekservera URL nekad netiek pārvērsts par Proxy-Authorization galveni. Pārvietojiet savu starpprogrammatūru zem 750, piemēram, uz 740.

Vai varu iestatīt starpniekserveri tikai vienam pieprasījumam?

Jā. Izveidojot Request, norādiet meta={'proxy': 'http://user:pass@ip:port'}; iebūvētā starpprogrammatūra apstrādās pieteikšanos tikai šim konkrētajam pieprasījumam.

Vai miljoniem lapu rāpošana sasniegs datplūsmas limitu?

Nē, izmantojot ProxyV4 privātos IPv4 vai statiskos ISP starpniekserverus; abiem ir neierobežota datplūsma. Praktiskais ierobežojums ir tikai tas, cik ātri mērķa vietne ļauj jums veikt rāpošanu.

Avoti

Neierobežotas statiskās IP Scrapy rāpošanai

Privātās IPv4 adreses 7 valstīs, kā arī statiskie ISP ASV un Vjetnamā — no vienas IP līdz lielam pūlam ar apjomam pielāgotām cenām reāllaikā.

Skatīt aktuālās ASV cenas

Related articles

Proksiji pēc platformas
Proksiji tīmekļa skrāpēšanai: fiksēts IP pūls ar neierobežotu datu plūsmu
Web scraping proksiji Python, Scrapy, Playwright un Selenium: privāts IPv4 un statisku ISP adrešu pūls, neierobežota datu plūsma un fiksēta cena par katru IP.
Proksiju iestatīšana
Python requests caur autentificētu starpniekserveri soli pa solim
Sūtiet Python pieprasījumus caur autentificētu HTTP(S) proxy: izveidojiet proxies vārdnīcu, piesaistiet Session, kodējiet paroles un pārbaudiet IP adresi.
Proksiju iestatīšana
Playwright proxy autentifikācija: viena statiskā IP katram kontekstam
Piešķiriet katram Playwright kontekstam autentificētu HTTP(S) proxy Node.js vai Python, pielāgojiet laika joslu un lokāli IP un apstipriniet izejas adresi.
Bezmaksas rīki
Pārveidojiet starpnieku sarakstu rīkam nepieciešamajā formātā
Konvertējiet starpnieku sarakstus pārlūkā starp ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON masīviem un FoxyProxy failiem lielā apjomā.
Proksiji pēc platformas
Starpniekserveri SEO rangu izsekošanai: skatiet rezultātu lapu vietējā meklētāja acīm
SEO rangu starpnieki ar privātu IPv4 ASV, Lielbritānijā, Vjetnamā, Japānā un vēl 4 tirgos, lai rangi, vietējie bloki un reklāmas atbilstu vietējo skatam.
Proksiji pēc platformas
Amazon pārdevēju proksi, kas nodrošina katram kontam pastāvīgu adresi
Amazon pārdevēju proksi Seller Central, KDP un Merch: ASV statisks ISP vai UK/Japānas privāts IPv4 katram kontam, izīrēts tikai jums un saglabāts atjaunojot.
IPV4 · united states
ASV privāto IPv4 starpniekserveru kopa datu vākšanai, pozīciju izsekošanai un reklāmu pārbaudei
Pērc ASV privātos IPv4 proxy: statiskas ASV datu centra IP, viens klients uz IP, neierobežota datplūsma. Piemēroti skrāpēšanai, SERP un ASV reklāmu pārbaudei.
IPV4 · united kingdom
Lielbritānijas privātais IPv4 starpniekserveris tirdzniecības platformām, meklēšanai un kampaņām
UK privātais IPv4 proxy ar statisku britu datu centra IP vienam lietotājam: eBay UK un Amazon.co.uk izpētei, google.co.uk uzraudzībai un reklāmu pārbaudei.