ProxyV4

Scrapy ප්‍රොක්සි: meta['proxy'], middleware අනුපිළිවෙල සහ භ්‍රමණය

· Updated:

Scrapy හි, එක් එක් ඉල්ලීම සඳහා ප්‍රොක්සියක් request.meta['proxy'] = 'http://user:pass@ip:port' හරහා සකසන අතර, එහි ඇති HttpProxyMiddleware (අනුපිළිවෙල 750) මඟින් user:pass කොටස Proxy-Authorization ශීර්ෂයක් බවට පත් කරයි. ඊට පෙර, එනම් 740 හි ධාවනය වන කුඩා downloader middleware එකක් එක් කරන්න, එවිට ඔබේ spider මඟින් නිකුත් කරන සෑම ඉල්ලීමකටම ඔබේ ProxyV4 pool එකෙන් IP එකක් ලබා ගත හැක.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Private IPv4 (datacenter)
🇺🇸 එක්සත් ජනපදය
තොග ඇත
සිට
US$1.10 / IP / මසකට
ප්‍රමාණය මත ලැබෙන වට්ටම්
  • 1 IPUS$1.85
  • 3+ IPUS$1.70
  • 10+ IPUS$1.60
  • 25+ IPUS$1.50
  • 50+ IPUS$1.40
  • 100+ IPUS$1.30
  • 200+ IPUS$1.20
  • 500+ IPUS$1.10
එක්සත් ජනපදය මිලදී ගන්න
Private IPv4 (datacenter)
🇬🇧 එක්සත් රාජධානිය
තොග ඇත
සිට
US$1.10 / IP / මසකට
ප්‍රමාණය මත ලැබෙන වට්ටම්
  • 1 IPUS$1.85
  • 3+ IPUS$1.70
  • 10+ IPUS$1.60
  • 25+ IPUS$1.50
  • 50+ IPUS$1.40
  • 100+ IPUS$1.30
  • 200+ IPUS$1.20
  • 500+ IPUS$1.10
එක්සත් රාජධානිය මිලදී ගන්න
වේදිකා අනුව ප්‍රොක්සි:Web Scraping & CrawlingSEO & SERP TrackingAmazon

middleware අංකය වැදගත් වන්නේ ඇයි

පිටතට යන ගමනේදී Downloader middlewares ආරෝහණ අනුපිළිවෙලට ධාවනය වේ. 750 හි ඇති HttpProxyMiddleware මඟින් meta['proxy'] කියවා, URL වෙතින් පරිශීලක තොරතුරු ඉවත් කර auth ශීර්ෂය ලියයි. ඔබේම middleware මඟින් ප්‍රොක්සිය ඊට පසුව, උදාහරණයක් ලෙස 800 හි සැකසුවහොත්, සාදන ලද middleware එක ඒ වන විටත් ධාවනය වී අවසන් බැවින් තොරතුරු කිසි විටෙකත් පරිවර්තනය නොවන අතර ප්‍රොක්සිය 407 ලෙස පිළිතුරු දෙයි. ඔබගේ එක 740 හි ලියාපදිංචි කිරීමෙන් එය පළමුව තැබේ.

සැකසුමයෝජිත අගයබලපෑම
request.meta['proxy']'http://user:pass@ip:port'අදාළ ඉල්ලීම ලබා දී ඇති ProxyV4 ප්‍රොක්සිය හරහා යවයි
ඔබේ middleware අනුපිළිවෙල740HttpProxyMiddleware (750) ට පෙර ධාවනය වේ, එබැවින් පිවිසුම් තොරතුරු encode කරනු ලැබේ
CONCURRENT_REQUESTS_PER_IP2 සිට 4 දක්වාගමනාන්ත IP එකකට සමාන්තර ඉල්ලීම් සීමා කරයි, මෙය සෑම සේවාදායකයකටම කෙතරම් තදින් බලපෑම් එල්ල වේද යන්න පිළිබඳ ආචාරශීලී සීමාවකි
AUTOTHROTTLE_ENABLEDTrueඉලක්කය ප්‍රතිචාර දක්වන වේගය මත පදනම්ව ප්‍රමාදයන් වැඩි කිරීමට හෝ අඩු කිරීමට Scrapy හට ඉඩ දෙයි

භ්‍රමණ middleware පිළිබඳ දළ සටහනක්

  • from_crawler() හි settings වෙතින් ප්‍රොක්සි ලැයිස්තුව කියවා එය middleware instance එකෙහි තබා ගන්න
  • ඉල්ලීමෙහි දැනටමත් එකක් ඇතුළත් කර නොමැති නම්, process_request() හි request.meta['proxy'] = random.choice(self.proxies) ලෙස පවරන්න
  • ප්‍රතිචාරයක් 429 හෝ 503 ලෙස ලැබුණු විට, ප්‍රතික්ෂේප වූ එක වෙනුවට pool එකෙන් වෙනත් ප්‍රොක්සියක් සමඟ නැවත උත්සාහ කරන්න
  • ඉල්ලීම් අතර පරතරය මෙට්‍රොනෝමයක් මෙන් නියත නොවී වෙනස් වන පරිදි DOWNLOAD_DELAY = 1.0 සමඟ RANDOMIZE_DOWNLOAD_DELAY = True ඒකාබද්ධ කරන්න

Pool එකෙහි ප්‍රමාණය තීරණය කිරීම

Scrapy crawl එකක් මඟින් මිනිත්තුවකට ඉල්ලීම් විශාල ප්‍රමාණයක් යැවිය හැකි බැවින්, IP ගණන මඟින් ඒ සෑම එකක්ම කෙතරම් මෘදු ලෙස භාවිත කරන්නේද යන්න තීරණය කරයි. ProxyV4 සමඟ අවම ඇණවුමක් නොමැති අතර ප්‍රමාණය වැඩි වන විට IP එකක මිල අඩු වේ, තවද පුද්ගලික IPv4 දත්ත ගමනාගමනය මනිනු නොලැබේ, එබැවින් bandwidth අනුව විශාල crawl එකකට වැය වන්නේ කුඩා එකකට සමාන පිරිවැයකි. සෑම IP එකක්ම භාවිත කරන්නේ එක් පාරිභෝගිකයෙකු පමණක් බැවින්, එහි කීර්තිය ඔබේම crawl එක පිළිබිඹු කරන අතර වෙනත් කිසිවෙකුගේ නොවේ. Crawl පරිමාව සහ ආචාරශීලී බව සැලසුම් කිරීම සඳහා, වෙබ් scraping මාර්ගෝපදේශය බලන්න.

පියවරෙන් පියවර

  1. 1

    ප්‍රොක්සි URL සූදානම් කරන්න

    ප්‍රොක්සි ආකෘති පරිවර්තකය භාවිතයෙන් ඔබේ ProxyV4 ip:port:user:pass පේළි http://user:pass@ip:port බවට පරිවර්තනය කර ඒවා settings හෝ ගොනුවක ගබඩා කරන්න.

  2. 2

    ProxyPoolMiddleware ලියන්න

    middlewares.py හි, request.meta['proxy'] = random.choice(self.proxies) ලෙස සකසන පරිදි process_request(self, request, spider) ක්‍රියාත්මක කරන්න.

  3. 3

    සාදන ලද එකට පෙර එය ලියාපදිංචි කරන්න

    settings.py හි, DOWNLOADER_MIDDLEWARES වෙත 'myproject.middlewares.ProxyPoolMiddleware': 740 එක් කර CONCURRENT_REQUESTS_PER_IP = 2 ලෙස සකසන්න.

  4. 4

    භ්‍රමණය තහවුරු කරන්න

    scrapy shell හෝ කෙටි පරීක්ෂණ spider එකක් භාවිතයෙන් https://proxyv4.com/api/my-ip කිහිප වතාවක් ලබාගෙන, වාර්තා වන IP ඔබේ pool එක පුරා වෙනස් වන බව පරීක්ෂා කරන්න.

නිතර අසන ප්‍රශ්න

ප්‍රමුඛතාව 800 හි ඇති මගේ ප්‍රොක්සි middleware එකට 407 දෝෂ ලැබේ. ඒ ඇයි?

800 හිදී එය HttpProxyMiddleware (750) ට පසුව ධාවනය වන බැවින්, ඔබේ ප්‍රොක්සි URL හි ඇති user:pass කිසි විටෙකත් Proxy-Authorization ශීර්ෂයක් බවට පත් නොවේ. ඔබේ middleware 750 ට පහළින්, උදාහරණයක් ලෙස 740 වෙත ගෙන යන්න.

මට එක් ඉල්ලීමක් සඳහා පමණක් ප්‍රොක්සිය සැකසිය හැකිද?

ඔව්. ඔබ Request සාදන විට meta={'proxy': 'http://user:pass@ip:port'} ලබා දෙන්න; සාදන ලද middleware මඟින් එම ඉල්ලීම සඳහා පමණක් පිවිසුම හසුරුවයි.

පිටු මිලියන ගණනක crawl එකක් bandwidth සීමාවකට ළඟා වේවිද?

ProxyV4 පුද්ගලික IPv4 හෝ static ISP ප්‍රොක්සි වල එසේ නොවේ; ඒ දෙකටම අසීමිත bandwidth ඇත. ප්‍රායෝගික සීමාව වන්නේ ඉලක්කය ඔබට කෙතරම් වේගයෙන් crawl කිරීමට ඉඩ දෙයිද යන්නයි.

මූලාශ්‍ර

Scrapy crawls සඳහා සීමාවකින් තොර static IP

රටවල් 7 ක පුද්ගලික IPv4 සමඟ US සහ Vietnam හි static ISP, තනි IP එකක සිට විශාල pool එකක් දක්වා, සජීවී ප්‍රමාණ මිල ගණන් සමඟ.

US සජීවී මිල ගණන් පරීක්ෂා කරන්න

Related articles

වේදිකා අනුව ප්‍රොක්සි
Web scraping සඳහා proxy: සීමා රහිත traffic සහිත ස්ථාවර IP සංචිතයක්
Python, Scrapy, Playwright සහ Selenium සඳහා web scraping proxy: පුද්ගලික IPv4 සහ ස්ථාවර ISP ලිපින සංචිතයක්, අසීමිත bandwidth සහ ස්ථාවර per-IP මිලකරණය.
ප්‍රොක්සි සැකසුම
තහවුරු කළ ප්‍රොක්සියක් හරහා පියවරෙන් පියවර Python requests භාවිතය
තහවුරු කළ HTTP(S) ප්‍රොක්සියක් හරහා Python requests යවන්න: proxies dict සකසන්න, Session එකකට එක් කරන්න, මුරපද encode කර ලැයිස්තුවක් rotate කරන්න, IP බලන්න.
ප්‍රොක්සි සැකසුම
Playwright proxy authentication, context එකකට එක් static IP එකක් බැගින්
Node.js හෝ Python හි සෑම Playwright context එකකටම වෙනම authenticated HTTP(S) proxy ලබා දෙන්න, timezone හා locale IP එකට ගළපා exit ලිපිනය තහවුරු කරන්න.
නොමිලේ මෙවලම්
ඔබේ මෙවලමට අවශ්‍ය ආකෘතියට ප්‍රොක්සි ලැයිස්තුවක් නැවත සකසන්න
බ්රවුසරයෙන් ip:port:user:pass, user:pass@ip:port, http:// URLs, SOCKS5 URIs, JSON arrays සහ FoxyProxy අතර proxy ලැයිස්තු තොග වශයෙන් පරිවර්තනය කරන්න.
වේදිකා අනුව ප්‍රොක්සි
SEO rank tracking සඳහා proxies: දේශීය සෙවුම්කරුවෙකු දකින ප්‍රතිඵල පිටුවම බලන්න
දේශීය පරිශීලකයින් දකින ශ්‍රේණිගත කිරීම්, local packs සහ දැන්වීම් නිවැරදිව බැලීමට US, UK, වියට්නාමය, ජපානය ඇතුළු වෙළඳපොළ 7ක් සඳහා වන private IPv4 SEO proxies.
වේදිකා අනුව ප්‍රොක්සි
සෑම ගිණුමකටම ස්ථිර ලිපිනයක් ලබා දෙන Amazon seller proxies
Seller Central, KDP සහ Merch සඳහා Amazon seller proxies: ගිණුමකට US static ISP හෝ UK/Japan private IPv4, ඔබට පමණක් වෙන්වූ, අලුත් කිරීමේදී වෙනස් නොවන IP.
IPV4 · united states
දත්ත ලබාගැනීම, ශ්‍රේණිගත කිරීම් නිරීක්ෂණය සහ දැන්වීම් පරීක්ෂාව සඳහා එක්සත් ජනපද පෞද්ගලික IPv4 ප්‍රොක්සි සංචිතය
US පුද්ගලික IPv4 proxy මිලදී ගන්න: ස්ථිතික ඩේටාසෙන්ටර් IP, එක් IP එකකට එක් පාරිභෝගිකයෙක්, අසීමිත bandwidth. scraping, SERP හා දැන්වීම් පරීක්ෂාව සඳහාමයි.
IPV4 · united kingdom
වෙළඳපොළවල්, සෙවීම් සහ ප්‍රචාරණ ව්‍යාපාර සඳහා එක්සත් රාජධානියේ පෞද්ගලික IPv4 ප්‍රොක්සි
තනි පාරිභෝගිකයෙකුට වෙන් කළ බ්‍රිතාන්‍ය ස්ථාවර datacenter IP සහිත UK පුද්ගලික IPv4 proxy. eBay UK, Amazon.co.uk, google.co.uk සහ UK දැන්වීම් පරීක්ෂාවටයි.