ProxyV4

Mga proxy sa Scrapy: meta['proxy'], ayos ng middleware, at pag-rotate

· Updated:

Sa Scrapy, itinatakda ang proxy bawat request gamit ang request.meta['proxy'] = 'http://user:pass@ip:port', at ginagawang Proxy-Authorization header ng built-in na HttpProxyMiddleware (order 750) ang bahaging user:pass. Magdagdag ng maliit na downloader middleware na tatakbo bago ito, sa 740, at bawat request na ilalabas ng iyong spider ay makakapili ng IP mula sa iyong pool sa ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Private IPv4 (datacenter)
🇺🇸 United States
May stock
Mula
$1.10 / IP / buwan
Mga diskwento batay sa dami
  • 1 IP$1.85
  • 3+ na IP$1.70
  • 10+ na IP$1.60
  • 25+ na IP$1.50
  • 50+ na IP$1.40
  • 100+ na IP$1.30
  • 200+ na IP$1.20
  • 500+ na IP$1.10
Bumili sa United States
Private IPv4 (datacenter)
🇬🇧 United Kingdom
May stock
Mula
$1.10 / IP / buwan
Mga diskwento batay sa dami
  • 1 IP$1.85
  • 3+ na IP$1.70
  • 10+ na IP$1.60
  • 25+ na IP$1.50
  • 50+ na IP$1.40
  • 100+ na IP$1.30
  • 200+ na IP$1.20
  • 500+ na IP$1.10
Bumili sa United Kingdom

Bakit mahalaga ang numero ng middleware

Tumatakbo ang mga downloader middleware sa pataas na pagkakasunod-sunod palabas. Binabasa ng HttpProxyMiddleware sa 750 ang meta['proxy'], tinatanggal ang mga credential mula sa URL, at isinusulat ang auth header. Kung itatakda ng sarili mong middleware ang proxy pagkatapos nito, halimbawa sa 800, tumakbo na ang built-in, hindi kailanman mako-convert ang mga credential, at sasagot ang proxy ng 407. Ang pagrehistro sa iyo sa 740 ang maglalagay rito nang una.

SettingIminumungkahing halagaEpekto
request.meta['proxy']'http://user:pass@ip:port'Ipinapadala ang request na iyon gamit ang ibinigay na proxy sa ProxyV4
Order ng iyong middleware740Tumatakbo bago ang HttpProxyMiddleware (750), kaya nae-encode ang login
CONCURRENT_REQUESTS_PER_IP2 hanggang 4Naglilimita ng mga sabay-sabay na request bawat destinasyong IP, isang magalang na limitasyon sa dalas ng pag-access sa bawat server
AUTOTHROTTLE_ENABLEDTrueHinahayaan ang Scrapy na magpahaba o magpaikli ng mga delay batay sa bilis ng tugon ng target

Balangkas ng isang rotation middleware

  • Basahin ang listahan ng proxy mula sa settings sa from_crawler() at panatilihin ito sa instance ng middleware
  • Sa process_request(), italaga ang request.meta['proxy'] = random.choice(self.proxies) maliban kung mayroon na itong proxy
  • Kapag nagbalik ang tugon ng 429 o 503, i-retry ito gamit ang ibang proxy mula sa pool sa halip na ang tinanggihan lamang
  • Pagsamahin ang DOWNLOAD_DELAY = 1.0 at RANDOMIZE_DOWNLOAD_DELAY = True upang mag-iba-iba ang pagitan ng mga request sa halip na tumutunog na parang metronome

Pagtukoy sa laki ng pool

Kayang magpadala ng maraming request bawat minuto ang isang crawl sa Scrapy, kaya ang dami ng IP ang nagtatakda kung gaano kabanayad ginagamit ang bawat isa. Sa ProxyV4, walang minimum order at bumababa ang presyo bawat IP habang dumarami ang bilang, at ang trapiko ng pribadong IPv4 ay hindi sinusukat, kaya pareho lang ang gastos sa bandwidth ng malaki at maliit na crawl. Isang customer lamang ang gumagamit sa bawat IP, kaya ang reputasyon nito ay sumasalamin sa sarili mong crawl at wala nang iba. Para sa pagpaplano ng dami ng crawl at tamang gawi, tingnan ang gabay sa web scraping.

Hakbang-hakbang

  1. 1

    Ihanda ang mga proxy URL

    I-convert ang iyong mga linyang ip:port:user:pass ng ProxyV4 patungong http://user:pass@ip:port gamit ang proxy format converter at i-store ang mga ito sa settings o sa isang file.

  2. 2

    Isulat ang ProxyPoolMiddleware

    Sa middlewares.py, ipatupad ang process_request(self, request, spider) upang itakda nito ang request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Irehistro ito bago ang built-in

    Sa settings.py, idagdag ang 'myproject.middlewares.ProxyPoolMiddleware': 740 sa DOWNLOADER_MIDDLEWARES at itakda ang CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Kumpirmahin ang pag-rotate

    I-fetch ang https://proxyv4.com/api/my-ip nang ilang ulit gamit ang scrapy shell o isang maikling test spider at tiyaking nagbabago ang iniulat na IP sa iyong pool.

Mga madalas itanong

Bakit nagkakaroon ng 407 error ang aking proxy middleware sa priority 800?

Sa 800, tumatakbo ito pagkatapos ng HttpProxyMiddleware (750), kaya ang user:pass sa iyong proxy URL ay hindi kailanman nagiging Proxy-Authorization header. Ilipat ang iyong middleware sa mas mababa sa 750, hal. 740.

Maaari ko bang itakda ang proxy para sa isang request lamang?

Oo. Ipasa ang meta={'proxy': 'http://user:pass@ip:port'} kapag ginawa mo ang Request; ang built-in na middleware ang mamamahala sa login para sa request na iyon lamang.

Aabot ba sa limitasyon ng bandwidth ang pag-crawl ng milyun-milyong page?

Hindi sa mga pribadong IPv4 o static ISP proxy ng ProxyV4; parehong may walang limitasyong bandwidth ang mga ito. Ang praktikal na limitasyon ay kung gaano kabilis magpa-crawl ang target.

Mga Sanggunian

Walang limitasyong static IP para sa mga Scrapy crawl

Pribadong IPv4 sa 7 bansa at static ISP sa US at Vietnam, mula sa iisang IP hanggang sa malaking pool, na may live volume pricing.

Tingnan ang live na presyo sa US

Related articles

Mga proxy ayon sa platform
Mga proxy para sa web scraping: fixed pool ng mga IP na may unmetered traffic
Web scraping proxy para sa Python, Scrapy, Playwright at Selenium: pool ng pribadong IPv4 at static ISP, walang limitasyong bandwidth, fixed na singil kada IP.
Pag-setup ng proxy
Python requests sa authenticated na proxy, bawat hakbang
Magpadala ng Python requests sa authenticated na proxy: buuin ang proxies dict, ikabit sa Session, i-encode ang password, mag-ikot ng listahan, suriin ang IP.
Pag-setup ng proxy
Playwright proxy authentication, isang static IP bawat context
Bigyan ang bawat Playwright context ng naka-auth na HTTP(S) proxy sa Node.js o Python, itugma ang timezone at locale sa IP, at kumpirmahin ang exit address.
Mga libreng tool
I-convert ang proxy list sa format na kailangan ng iyong tool
Mag-convert nang maramihan sa browser ng proxy list sa pagitan ng ip:port:user:pass, user:pass@ip:port, http:// URLs, SOCKS5 URIs, JSON at FoxyProxy.
Mga proxy ayon sa platform
Mga proxy para sa SEO rank tracking: tingnan ang resulta na nakikita ng lokal na naghahanap
SEO rank tracking proxy gamit ang pribadong IPv4 sa US, UK, Vietnam, Japan, at 4 pang merkado para tumugma ang ranking, local pack, at ads sa nakikita roon.
Mga proxy ayon sa platform
Mga Amazon seller proxy na nagbibigay ng permanenteng address sa bawat account
Mga Amazon seller proxy para sa Seller Central, KDP, at Merch: US static ISP o UK/Japan private IPv4 bawat account, solo mo lang at nananatili kapag nag-renew.
IPV4 · united states
Pool ng Pribadong IPv4 Proxy sa US para sa Scraping, Rank Tracking, at Pagsusuri ng Ad
Bumili ng US private IPv4 proxy: static American datacenter IP, 1 customer bawat IP, walang limitasyong bandwidth para sa scraping, SERP at US ad check.
IPV4 · united kingdom
Pribadong IPv4 Proxy sa UK para sa mga Marketplace, Paghahanap, at mga Kampanya
UK pribadong IPv4 proxy na may static British datacenter IP para sa isang kustomer: eBay UK at Amazon.co.uk research, google.co.uk tracking, at UK ad checks.