የPython requests በተረጋገጠ ፕሮክሲ በኩል፣ ደረጃ በደረጃ
በProxyV4 የምህንድስና ቡድን · Updated:
በPython requests ውስጥ ፕሮክሲ ለመጠቀም ሁለቱም የ'http' እና 'https' ቁልፎቻቸው ወደ http://user:pass@ip:port የሚያመለክቱበትን የproxies dict ያስገቡ። ያንን dict በrequests.Session() ላይ ያድርጉት፣ እና ወደ ፕሮክሲው ያለው ተመሳሳዩ ግንኙነት ለእያንዳንዱ ጥሪ እንደገና ጥቅም ላይ ይውላል፤ ይህም ለእያንዳንዱ ጥያቄ አዲስ ከመክፈት የበለጠ ፈጣን ነው። ከዚህ በታች፦ dict፣ session፣ ሊያጋጥሙዎት የሚችሉ ስህተቶች እና የProxyV4 መውጫ IP የአንድ መስመር ማረጋገጫ ቀርቧል።
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IPUS$1.85
- 3+ IPዎችUS$1.70
- 10+ IPዎችUS$1.60
- 25+ IPዎችUS$1.50
- 50+ IPዎችUS$1.40
- 100+ IPዎችUS$1.30
- 200+ IPዎችUS$1.20
- 500+ IPዎችUS$1.10
- 1 IPUS$1.85
- 3+ IPዎችUS$1.70
- 10+ IPዎችUS$1.60
- 25+ IPዎችUS$1.50
- 50+ IPዎችUS$1.40
- 100+ IPዎችUS$1.30
- 200+ IPዎችUS$1.20
- 500+ IPዎችUS$1.10
የproxies dict ማብራሪያ
| ቅንብር | ዋጋ | ምክንያት |
|---|---|---|
የ'http' ቁልፍ | 'http://user:pass@ip:port' | ለመደበኛ የhttp:// URLዎች ያገለግላል |
የ'https' ቁልፍ | 'http://user:pass@ip:port' | አሁንም የhttp:// ፕሮክሲ URL ነው፦ urllib3 ፕሮክሲውን የCONNECT መተላለፊያ ይጠይቃል እና TLSን በእሱ ውስጥ ያሄዳል |
timeout | timeout=(5, 15) | ለመገናኘት 5 ሰከንድ፣ ለማንበብ 15 ሰከንድ፤ ስለዚህ የማይሰራ ኢላማ ትሬድን ሊያግድ አይችልም |
| ማዘዋወር | itertools.cycle(proxy_list) | የእርስዎን ቋሚ IPዎች በተራ ያቀርባል |
Session ከተራ requests.get() ለምን እንደሚሻል
እያንዳንዱ የላይኛው ደረጃ requests.get() ጥሪ አዲስ የግንኙነት ስብስብ ይፈጥራል፣ ስለዚህ ወደ ፕሮክሲው የሚደረገው የTCP ግንኙነት እና ከድህረ ገጹ ጋር የሚደረገው የTLS handshake በእያንዳንዱ ጊዜ ይደገማል። Session እነዚህን ግንኙነቶች በጥሪዎች መካከል ክፍት አድርጎ ያቆያቸዋል። በመቶዎች የሚቆጠሩ ገጾችን በአንድ IP በሚያመጣ ስክሪፕት ውስጥ፣ ያ ልዩነት በጠቅላላው የማስኬጃ ጊዜ ላይ በግልጽ ይታያል።
አንዴ s.proxies.update(proxies)ን ያቀናብሩ፣ ከዚያ እያንዳንዱ s.get() እና s.post() በፕሮክሲው በኩል ያልፋል። ማወቅ ያለብዎት አንድ ነገር፦ በአካባቢው (environment) ውስጥ HTTP_PROXY ወይም HTTPS_PROXY ከተቀናበሩ፣ requests ከsession ቅንብሮች ጋር ሊያጣምራቸው ይችላል፤ የትኛው ጥቅም ላይ እንደዋለ እርግጠኛ መሆን ሲፈልጉ በጥሪው ራሱ ላይ proxies=ን ያስገቡ።
ስህተቶች እና እንዴት እንደሚረዱአቸው
- ከ
407 Proxy Authentication Requiredጋር የሚመጣProxyError፦ ፕሮክሲው ይሰራል ነገር ግን በእርስዎ URL ውስጥ ያለው መግቢያ ከትዕዛዙ ጋር አይዛመድም። የ407 የስህተት ገጽ ይመልከቱ @፣:ወይም/የያዙ የይለፍ ቃላት URLውን ያበላሹታል፤ መጀመሪያ በurllib.parse.quote(password, safe='')ኢንኮድ ያድርጓቸው- የፕሮክሲውን URL ወደ
https://መቀየር አብዛኛውን ጊዜ ግንኙነቱን ያቋርጣል፤ የፕሮክሲ ፖርትዎ በተለየ ሁኔታ የTLS ፖርት ካልሆነ በስተቀር ለሁለቱም ቁልፎችhttp://ን ይጠቀሙ ConnectTimeoutየሚያመለክተው IPውን ወይም ፖርቱን እንጂ የማረጋገጫ ምስክርነቶችን አይደለም፤ ተደራሽነቱን በport checker ይሞክሩ
ተመሳሳይ አጠቃቀም በhttpx እና በaiohttp ውስጥ
የURL ቅርጸቱ እዚህም ይሰራል። በhttpx ውስጥ httpx.Client(proxy='http://user:pass@ip:port') ይፍጠሩ፤ በaiohttp ውስጥ ደግሞ proxy=ን ወደ session.get(url, proxy=...) ያስገቡ። በጊዜ ሰሌዳ እና በድጋሚ ሙከራዎች የሚከናወኑ ትልልቅ ፍተሻዎች ብዙውን ጊዜ በScrapy ቀላል ናቸው።
ደረጃ በደረጃ
- 1
የፕሮክሲ URL ይገንቡ
እያንዳንዱን የProxyV4
ip:port:user:passመስመር እንደhttp://user:pass@ip:portእንደገና ይጻፉ፣ ወይም ሙሉውን ዝርዝር በproxy format converter ይቀይሩት። - 2
dict ይፍጠሩ
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}ብለው ይጻፉ። - 3
ከSession ጋር ያገናኙት
ጥያቄዎች በሚላኩበት ጊዜ ግንኙነቶች ክፍት ሆነው እንዲቆዩ
s = requests.Session()ይፍጠሩ እናs.proxies.update(proxies)ን ይጥሩ። - 4
የመውጫውን IP ያትሙ
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())ን ያሂዱ፤ በውጤቱ ላይ የሚታየው IP የፕሮክሲው መሆን አለበት።
ተደጋግመው የሚጠየቁ ጥያቄዎች
የ'https' ማስገቢያ ለምን የhttp:// URL ሆነ?
እቅዱ Python ከድህረ ገጹ ጋር ሳይሆን ከፕሮክሲው ጋር እንዴት እንደሚገናኝ ይገልጻል። urllib3 ከመደበኛ HTTP በላይ ከፕሮክሲው ጋር ይገናኛል፣ CONNECTን ይልካል፣ ከዚያም በዚያ መተላለፊያ በኩል ከhttps:// ድህረ ገጽ ጋር TLS ያካሂዳል፤ ስለዚህ የገጹ ትራፊክ አሁንም የተመሰጠረ ነው።
ጥያቄዎችን በ25 ቋሚ ፕሮክሲዎች ላይ እንዴት ማሰራጨት እችላለሁ?
25ቱን URLዎች በዝርዝር ውስጥ ያስቀምጡ፣ pool = itertools.cycle(PROXIES) ይፍጠሩ፣ ለእያንዳንዱም ጥያቄ p = next(pool)ን ወስደው proxies={'http': p, 'https': p}ን ያስገቡ። የትኛውም ነጠላ አድራሻ እንዳይጨናነቅ በእያንዳንዱ IP ተገቢውን የጊዜ ልዩነት ይጠብቁ።
ከPython ስክሪፕቶች የሚመጣ ትራፊክ ይለካል?
አይደለም። የProxyV4 የግል IPv4 እና ቋሚ ISP እቅዶች ያልተገደበ ባንድዊድዝ ይዘው ይመጣሉ፤ ስለዚህ ለረጅም ጊዜ የሚሰሩ ስክሪፕቶች የውሂብ ጣሪያ አያጋጥማቸውም።
ምንጮች
የቋሚ IP ስብስብ ለPython ስክሪፕቶች
የግል IPv4 በ7 አገሮች እንዲሁም ቋሚ ISP በአሜሪካ እና በቪዬትናም። አንድ ነጠላ IP ወይም በጅምላ ይግዙ፤ የIP ዋጋ ከብዛት ጋር ይቀንሳል።
የቀጥታ የአሜሪካ ዋጋዎችን ይመልከቱ