තහවුරු කළ ප්රොක්සියක් හරහා පියවරෙන් පියවර Python requests භාවිතය
ProxyV4 ඉංජිනේරු කණ්ඩායම විසිනි · Updated:
Python requests හි ප්රොක්සියක් භාවිත කිරීමට, 'http' සහ 'https' යන keys දෙකම http://user:pass@ip:port වෙත යොමු වන proxies dict එකක් ලබා දෙන්න. එම dict එක requests.Session() එකකට ඇතුළත් කළ විට, එක් එක් request එක සඳහා අලුතින් connection එකක් විවෘත කිරීමට වඩා වේගවත්ව සෑම call එකක් සඳහාම ප්රොක්සිය වෙත එකම connection එක නැවත භාවිත වේ. පහතින් දැක්වෙන්නේ: අදාළ dict එක, session එක, ඔබට මුහුණ පෑමට සිදු විය හැකි දෝෂ සහ ProxyV4 exit IP එක පරීක්ෂා කරන තනි පේළියේ කේතයයි.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
proxies dict එක පිළිබඳ විස්තරය
| සැකසුම | අගය | හේතුව |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | සාමාන්ය http:// URLs සඳහා භාවිත වේ |
'https' key | 'http://user:pass@ip:port' | මෙය තවමත් http:// ප්රොක්සි URL එකකි: urllib3 මඟින් ප්රොක්සියෙන් CONNECT tunnel එකක් ඉල්ලා ඒ තුළ TLS ධාවනය කරයි |
timeout | timeout=(5, 15) | connect වීමට තත්පර 5 ක් සහ read කිරීමට තත්පර 15 ක් බැවින්, අක්රිය ඉලක්කයකට thread එකක් freeze කළ නොහැක |
| Rotation | itertools.cycle(proxy_list) | ඔබගේ static IPs පිළිවෙළින් ලබා දෙයි |
සාමාන්ය requests.get() වලට වඩා Session එකක් වඩාත් සුදුසු ඇයි
සෑම top-level requests.get() call එකකින්ම අලුත් connection pool එකක් සෑදේ, එබැවින් ප්රොක්සිය වෙත TCP connection එක සහ වෙබ් අඩවිය සමඟ TLS handshake එක සෑම අවස්ථාවකදීම නැවත නැවත සිදු වේ. Session එකක් මඟින් calls අතරතුර එම connections සක්රියව තබා ගනී. එක් IP එකක් හරහා පිටු සිය ගණනක් ලබා ගන්නා script එකක් සඳහා, එම වෙනස සමස්ත ධාවන කාලය තුළ පැහැදිලිව දැකගත හැක.
වරක් s.proxies.update(proxies) ලෙස සකසන්න, එවිට සෑම s.get() සහ s.post() එකක්ම ප්රොක්සිය හරහා ගමන් කරයි. දැනගත යුතු එක් කරුණක් නම්: පරිසරයේ HTTP_PROXY හෝ HTTPS_PROXY සකසා ඇත්නම්, requests මඟින් ඒවා session හි සැකසුම් සමඟ ඒකාබද්ධ කළ හැක; භාවිත කරන්නේ කුමක්ද යන්න නිශ්චිතව තහවුරු කර ගැනීමට අවශ්ය වූ විට call එක මතම proxies= ලබා දෙන්න.
දෝෂ සහ ඒවා තේරුම් ගන්නා ආකාරය
407 Proxy Authentication RequiredසහිතProxyError: ප්රොක්සිය සම්බන්ධ කරගත හැකි නමුත් ඔබගේ URL හි ඇති login තොරතුරු ඇණවුම සමඟ නොගැළපේ. 407 දෝෂ පිටුව බලන්න@,:හෝ/අඩංගු මුරපද මඟින් URL එක බිඳ වැටේ; පළමුවurllib.parse.quote(password, safe='')මඟින් ඒවා encode කරන්න- ප්රොක්සි URL එක
https://වෙත මාරු කිරීම සාමාන්යයෙන් connection එක බිඳ දමයි; ඔබගේ ප්රොක්සි port එක විශේෂයෙන්ම TLS port එකක් නොවේ නම් keys දෙකටමhttp://තබා ගන්න ConnectTimeoutමඟින් පිවිසුම් තොරතුරු නොව, IP එක හෝ port එක පිළිබඳ ගැටලුවක් පෙන්වයි; port checker මඟින් සම්බන්ධතාව පරීක්ෂා කරන්න
httpx සහ aiohttp හි ද එම ක්රමවේදයම වේ
URL ආකෘතිය මෙහිදී ද එලෙසම භාවිත වේ. httpx හි, httpx.Client(proxy='http://user:pass@ip:port') සාදන්න; aiohttp හි, session.get(url, proxy=...) වෙත proxy= ලබා දෙන්න. කාලසටහන්ගත කිරීම් සහ retries සහිත විශාල crawls සාමාන්යයෙන් Scrapy මඟින් සිදු කිරීම වඩාත් පහසු වේ.
පියවරෙන් පියවර
- 1
ප්රොක්සි URL එක සාදන්න
සෑම ProxyV4
ip:port:user:passපේළියක්මhttp://user:pass@ip:portලෙස නැවත ලියන්න, නැතහොත් proxy format converter මඟින් සම්පූර්ණ ලැයිස්තුවම පරිවර්තනය කරන්න. - 2
dict එක සාදන්න
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}ලෙස ලියන්න. - 3
එය Session එකකට එක් කරන්න
s = requests.Session()සාදාs.proxies.update(proxies)run කරන්න, එවිට requests අතරතුර connections සක්රියව තබා ගැනේ. - 4
exit IP එක print කරන්න
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())ධාවනය කරන්න; ප්රතිදානයේ ලැබෙන IP එක ප්රොක්සියේ IP එක විය යුතුය.
නිතර අසන ප්රශ්න
'https' ඇතුළත් කිරීම http:// URL එකක් වන්නේ ඇයි?
මෙම scheme එක මඟින් විස්තර කරන්නේ Python ප්රොක්සිය සමඟ සම්බන්ධ වන ආකාරය මිස වෙබ් අඩවිය සමඟ නොවේ. urllib3 මඟින් සාමාන්ය HTTP හරහා ප්රොක්සියට සම්බන්ධ වී, CONNECT යවා, එම tunnel එක හරහා https:// වෙබ් අඩවිය සමඟ TLS සිදු කරයි, එබැවින් පිටුවේ traffic තවමත් encrypt වී පවතී.
static proxies 25 ක් හරහා requests බෙදා හරින්නේ කෙසේද?
URLs 25 ලැයිස්තුවකට ඇතුළත් කර, pool = itertools.cycle(PROXIES) සාදන්න, ඉන්පසු සෑම request එකක් සඳහාම p = next(pool) ලබාගෙන proxies={'http': p, 'https': p} ලබා දෙන්න. එක් ලිපිනයකට පමණක් අධික බරක් නොයෙදෙන පරිදි එක් IP එකකට ප්රමාණවත් ප්රමාදයක් (delay) තබා ගන්න.
Python scripts වලින් සිදුවන traffic සීමා කර තිබේද?
නැත. ProxyV4 private IPv4 සහ static ISP සැලසුම් අසීමිත bandwidth සමඟ ලැබෙන බැවින්, දීර්ඝ කාලයක් ධාවනය වන scripts සඳහා දත්ත සීමාවක් (data cap) බලනොපායි.
මූලාශ්ර
Python scripts සඳහා static IP pool එකක්
රටවල් 7 ක private IPv4 සහ US හා Vietnam හි static ISP. තනි IP එකක් හෝ කාණ්ඩයක් ලෙස මිලදී ගන්න; ප්රමාණය වැඩි වන විට එක් IP එකක මිල අඩු වේ.
US සජීවී මිල ගණන් බලන්න