ProxyV4

የScrapy ፕሮክሲዎች፦ meta['proxy']፣ የሚድልዌር ቅደም ተከተል እና ማሽከርከር

· Updated:

በScrapy ውስጥ ለእያንዳንዱ ጥያቄ ፕሮክሲ የሚዘጋጀው በrequest.meta['proxy'] = 'http://user:pass@ip:port' አማካኝነት ሲሆን አብሮ የተሰራው HttpProxyMiddleware (ቅደም ተከተል 750) የuser:pass ክፍልን ወደ Proxy-Authorization ሄደር ይቀይረዋል። ከእሱ በፊት በ740 ላይ የሚሰራ አነስተኛ ዳውንሎደር ሚድልዌር ያክሉ፣ እና ስፓይደርዎ የሚያመነጨው እያንዳንዱ ጥያቄ ከProxyV4 ፑልዎ አይፒ መምረጥ ይችላል።

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
የግል IPv4 (ዳታሴንተር)
🇺🇸 ዩናይትድ ስቴትስ
አለ
ከ
US$1.10 / IP / በወር
የብዛት ቅናሾች
  • 1 IPUS$1.85
  • 3+ IPዎችUS$1.70
  • 10+ IPዎችUS$1.60
  • 25+ IPዎችUS$1.50
  • 50+ IPዎችUS$1.40
  • 100+ IPዎችUS$1.30
  • 200+ IPዎችUS$1.20
  • 500+ IPዎችUS$1.10
ዩናይትድ ስቴትስ ግዛ
የግል IPv4 (ዳታሴንተር)
🇬🇧 ዩናይትድ ኪንግደም
አለ
ከ
US$1.10 / IP / በወር
የብዛት ቅናሾች
  • 1 IPUS$1.85
  • 3+ IPዎችUS$1.70
  • 10+ IPዎችUS$1.60
  • 25+ IPዎችUS$1.50
  • 50+ IPዎችUS$1.40
  • 100+ IPዎችUS$1.30
  • 200+ IPዎችUS$1.20
  • 500+ IPዎችUS$1.10
ዩናይትድ ኪንግደም ግዛ
ፕሮክሲዎች በመድረክ:Web Scraping & CrawlingSEO & SERP TrackingAmazon

የሚድልዌር ቁጥር ለምን አስፈላጊ ሆነ

ዳውንሎደር ሚድልዌሮች ወደ ውጭ በሚወጡበት ጊዜ በቅደም ተከተል ከትንሽ ወደ ትልቅ ይሰራሉ። በ750 ላይ ያለው HttpProxyMiddleware meta['proxy']ን ያነባል፣ ምስክርነቶችን ከURL ላይ ያስወግዳል እንዲሁም የፍቃድ ሄደሩን ይጽፋል። የእርስዎ ሚድልዌር ፕሮክሲውን ከዚያ በኋላ የሚያዘጋጅ ከሆነ (ለምሳሌ በ800)፣ አብሮ የተሰራው አስቀድሞ ሰርቷል፣ ምስክርነቶቹ አይቀየሩም፣ እና ፕሮክሲው 407 ምላሽ ይሰጣል። የእርስዎን በ740 መመዝገብ መጀመሪያ እንዲቀመጥ ያደርገዋል።

ማስተካከያየተጠቆመ ዋጋውጤት
request.meta['proxy']'http://user:pass@ip:port'ያንን ጥያቄ በተሰጠው የProxyV4 ፕሮክሲ በኩል ይልካል
የእርስዎ ሚድልዌር ቅደም ተከተል740ከHttpProxyMiddleware (750) በፊት ይሰራል፣ ስለዚህ መግቢያው ኢንኮድ ይደረጋል
CONCURRENT_REQUESTS_PER_IPከ2 እስከ 4ለእያንዳንዱ መዳረሻ አይፒ ትይዩ ጥያቄዎችን ይገድባል፣ እያንዳንዱ አገልጋይ ምን ያህል ጫና እንደሚደርስበት በትህትና የሚገድብ ነው
AUTOTHROTTLE_ENABLEDTrueዒላማው ምላሽ በሚሰጥበት ፍጥነት ላይ በመመስረት Scrapy መዘግየቶችን እንዲያራዝም ወይም እንዲያሳጥር ያስችለዋል

የማሽከርከሪያ ሚድልዌር አጠቃላይ እይታ

  • የፕሮክሲ ዝርዝሩን ከቅንብሮች በfrom_crawler() ውስጥ ያንብቡ እና በሚድልዌር ምሳሌ ላይ ያቆዩት
  • ጥያቄው አስቀድሞ ፕሮክሲ ካልያዘ በስተቀር በprocess_request() ውስጥ request.meta['proxy'] = random.choice(self.proxies) መድቡ
  • ምላሹ 429 ወይም 503 ሆኖ ሲመለስ አሁን ውድቅ ከተደረገው ይልቅ ከፑሉ በተለየ ፕሮክሲ ደግመው ይሞክሩ
  • በጥያቄዎች መካከል ያለው ክፍተት ልክ እንደ ሜትሮኖም ቋሚ ከመሆን ይልቅ እንዲለያይ DOWNLOAD_DELAY = 1.0ን ከRANDOMIZE_DOWNLOAD_DELAY = True ጋር ያጣምሩ

የፑሉን መጠን መወሰን

የScrapy ፍለጋ በደቂቃ በርካታ ጥያቄዎችን ሊያስተላልፍ ይችላል፣ ስለዚህ የአይፒዎች ብዛት እያንዳንዳቸው በምን ያህል ገርነት ጥቅም ላይ እንደሚውሉ ይወስናል። በProxyV4 ምንም አነስተኛ የትዕዛዝ ገደብ የለም፣ የአይፒዎች ብዛት ሲጨምር የነጠላ ዋጋ ይቀንሳል፣ እንዲሁም የግል IPv4 ትራፊክ በዳታ መጠን አይለካም፤ ስለዚህ ትልቅ ፍለጋ በባንድዊድዝ ረገድ ከትንሽ ጋር ተመሳሳይ ዋጋ ያስከፍላል። እያንዳንዱ አይፒ በአንድ ደንበኛ ብቻ ጥቅም ላይ ይውላል፣ ስለዚህ ዝናው የእርስዎን ፍለጋ ብቻ የሚያንፀባርቅ እንጂ የሌላውን አይደለም። የፍለጋ መጠንን እና ስነ-ስርዓትን ለማቀድ የድር ስክራፒንግ መመሪያን ይመልከቱ።

ደረጃ በደረጃ

  1. 1

    የፕሮክሲ URLs ያዘጋጁ

    የProxyV4 የip:port:user:pass መስመሮችዎን በየፕሮክሲ ፎርማት መቀየሪያ አማካኝነት ወደ http://user:pass@ip:port ይቀይሩ እና በቅንብሮች ወይም በፋይል ውስጥ ያስቀምጧቸው።

  2. 2

    ProxyPoolMiddleware ይጻፉ

    በmiddlewares.py ውስጥ process_request(self, request, spider)ን request.meta['proxy'] = random.choice(self.proxies) በሚያዘጋጅ መልኩ ይተግብሩ።

  3. 3

    አብሮ ከተሰራው በፊት ይመዝግቡት

    በsettings.py ውስጥ 'myproject.middlewares.ProxyPoolMiddleware': 740ን ወደ DOWNLOADER_MIDDLEWARES ያክሉ እና CONCURRENT_REQUESTS_PER_IP = 2ን ያዘጋጁ።

  4. 4

    ማሽከርከሩን ያረጋግጡ

    https://proxyv4.com/api/my-ipን በscrapy shell ወይም በአጭር የሙከራ ስፓይደር ጥቂት ጊዜ በመጥራት ሪፖርት የተደረገው አይፒ በፑልዎ ውስጥ መቀያየሩን ያረጋግጡ።

ተደጋግመው የሚጠየቁ ጥያቄዎች

በቅድሚያ ደረጃ 800 ላይ ያለው የፕሮክሲ ሚድልዌሬ የ407 ስህተቶች ያጋጥሙታል። ለምን?

በ800 ላይ ከHttpProxyMiddleware (750) በኋላ ይሰራል፣ ስለዚህ በፕሮክሲ URLዎ ውስጥ ያለው user:pass በጭራሽ ወደ Proxy-Authorization ሄደር አይቀየርም። ሚድልዌርዎን ከ750 በታች ያድርጉ፣ ለምሳሌ 740።

ፕሮክሲውን ለአንድ ጥያቄ ብቻ ማዘጋጀት እችላለሁ?

አዎ። Request ሲፈጥሩ meta={'proxy': 'http://user:pass@ip:port'} ያስተላልፉ፤ አብሮ የተሰራው ሚድልዌር ለዚያ ጥያቄ ብቻ መግባቱን ያስተናግዳል።

የሚሊዮኖች ገጾች ፍለጋ የባንድዊድዝ ገደብ ያጋጥመዋል?

በProxyV4 የግል IPv4 ወይም ቋሚ ISP ፕሮክሲዎች ላይ አያጋጥመውም፤ ሁለቱም ያልተገደበ ባንድዊድዝ አላቸው። ተግባራዊው ገደብ ዒላማው በምን ያህል ፍጥነት እንዲፈልጉ እንደሚፈቅድልዎት ነው።

ምንጮች

ያልተገደቡ ቋሚ አይፒዎች ለScrapy ፍለጋዎች

የግል IPv4 በ7 አገሮች እንዲሁም ቋሚ ISP በአሜሪካ እና በቪዬትናም፣ ከአንድ አይፒ ጀምሮ እስከ ትልቅ ፑል፣ ከቀጥታ የብዛት ዋጋ ቅናሽ ጋር።

የአሜሪካን የቀጥታ ዋጋ ይመልከቱ

Related articles

ፕሮክሲዎች በመድረክ
ፕሮክሲዎች ለዌብ ስክራፒንግ፦ ያልተገደበ ትራፊክ ያላቸው ቋሚ የIPዎች ስብስብ
የዌብ ስክራፒንግ ፕሮክሲዎች ለPython፣ Scrapy፣ Playwright እና Selenium፦ አስተማማኝ የግል IPv4 እና ቋሚ ISP አድራሻዎች ስብስብ፣ ያልተገደበ ባንድዊድዝ እንዲሁም ቋሚ የሆነ የነጠላ-IP ተመጣጣኝ የክፍያ ተመን።
የፕሮክሲ ማዋቀር
የPython requests በተረጋገጠ ፕሮክሲ በኩል፣ ደረጃ በደረጃ
የPython ጥያቄዎችን በተረጋገጠ የHTTP(S) ፕሮክሲ በኩል ይላኩ፦ የproxies dict ያዘጋጁ፣ ከSession ጋር ያገናኙ፣ ልዩ የይለፍ ቃላትን ኢንኮድ ያድርጉ፣ የፕሮክሲ ዝርዝሩን ያዟዙሩ፣ እና IP አድራሻውን ያረጋግጡ።
የፕሮክሲ ማዋቀር
የPlaywright ፕሮክሲ ማረጋገጫ፣ አንድ ቋሚ IP ለእያንዳንዱ context
በNode.js ወይም Python ለእያንዳንዱ የPlaywright አሳሽ context የራሱን የተረጋገጠ የHTTP(S) ፕሮክሲ ይስጡ፣ የሰዓት ሰቅ እና ቋንቋን ከIPው ጋር ያዛምዱ እንዲሁም የመጨረሻ መውጫ አድራሻውን ያረጋግጡ።
ነፃ መሣሪያዎች
የፕሮክሲ ዝርዝርን መሣሪያዎ ወደሚፈልገው ፎርማት ይቀይሩ
የፕሮክሲ ዝርዝሮችን በአሳሽዎ ውስጥ በip:port:user:pass፣ user:pass@ip:port፣ http:// URLs፣ SOCKS5 URIs፣ JSON arrays እና በFoxyProxy ፋይሎች መካከል በፍጥነትና በጅምላ ይቀይሩ።
ፕሮክሲዎች በመድረክ
ለSEO ደረጃ ክትትል የሚሆኑ ፕሮክሲዎች፡ የአካባቢው ፈላጊ የሚያየውን የውጤት ገጽ ይመልከቱ
ደረጃዎች፣ አካባቢያዊ ጥቅሎች እና ማስታወቂያዎች የአካባቢው ሰዎች ከሚያዩት ጋር በትክክል እንዲመሳሰሉ በUS፣ UK፣ ቪየትናም፣ ጃፓን እና በሌሎች 4 ገበያዎች የግል IPv4 ያላቸው አስተማማኝ የSEO ደረጃ መከታተያ ፕሮክሲዎች።
ፕሮክሲዎች በመድረክ
ለእያንዳንዱ አካውንት ቋሚ አድራሻ የሚሰጡ የAmazon ሻጭ ፕሮክሲዎች
ለSeller Central፣ KDP እና Merch የሚሆኑ የAmazon ሻጭ ፕሮክሲዎች፦ ለአንድ አካውንት አንድ የUS ቋሚ ISP ወይም የUK/Japan የግል IPv4፤ ለእርስዎ ብቻ ተለይቶ የሚከራይ እና ሲታደስም ሳይለወጥ አብሮ የሚቆይ።
IPV4 · united states
የአሜሪካ የግል IPv4 Proxy ስብስብ ለመረጃ ማሰባሰብ፣ የደረጃ ክትትል እና የማስታወቂያ ፍተሻ
የአሜሪካ የግል IPv4 ፕሮክሲዎችን ይግዙ፦ ቋሚ የአሜሪካ ዳታሴንተር IPዎች፣ ለአንድ ደንበኛ አንድ IP ብቻ፣ ያልተገደበ ባንድዊድዝ። ለscraping፣ ለSERP ክትትልና ለአሜሪካ ማስታወቂያ ፍተሻ የተዘጋጀ አስተማማኝ አገልግሎት።
IPV4 · united kingdom
የእንግሊዝ የግል IPv4 Proxy ለገበያ ቦታዎች፣ ፍለጋ እና ዘመቻዎች
ለአንድ ደንበኛ ብቻ የሚከራይ የማይንቀሳቀስ የብሪታንያ ዳታሴንተር IP ያለው የ UK የግል IPv4 ፕሮክሲ፤ ለ eBay UK እና Amazon.co.uk ጥናት፣ ለ google.co.uk ክትትልና ለ UK ማስታወቂያ ፍተሻ የታሰበ።