அங்கீகரிக்கப்பட்ட ப்ராக்ஸி வழியாக Python requests: படிப்படியான வழிகாட்டி
ProxyV4 பொறியியல் குழுவால் · Updated:
Python requests-இல் ப்ராக்ஸியைப் பயன்படுத்த, 'http' மற்றும் 'https' ஆகிய இரண்டு விசைகளும் http://user:pass@ip:port முகவரியைக் குறிக்கும் proxies dict-ஐ அனுப்பவும். அந்த dict-ஐ ஒரு requests.Session()-இல் வைத்தால், ஒவ்வொரு அழைப்பிற்கும் ப்ராக்ஸிக்கான அதே இணைப்பு மீண்டும் பயன்படுத்தப்படும்; இது ஒவ்வொரு கோரிக்கைக்கும் புதிய இணைப்பைத் திறப்பதை விட வேகமானது. கீழே: dict, session, நீங்கள் சந்திக்க வாய்ப்புள்ள பிழைகள் மற்றும் ProxyV4 வெளியேறும் IP-ஐச் சரிபார்க்கும் ஒரு-வரி முறை.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP$1.85
- 3+ IP-கள்$1.70
- 10+ IP-கள்$1.60
- 25+ IP-கள்$1.50
- 50+ IP-கள்$1.40
- 100+ IP-கள்$1.30
- 200+ IP-கள்$1.20
- 500+ IP-கள்$1.10
- 1 IP$1.85
- 3+ IP-கள்$1.70
- 10+ IP-கள்$1.60
- 25+ IP-கள்$1.50
- 50+ IP-கள்$1.40
- 100+ IP-கள்$1.30
- 200+ IP-கள்$1.20
- 500+ IP-கள்$1.10
proxies dict விளக்கம்
| அமைப்பு | மதிப்பு | காரணம் |
|---|---|---|
'http' விசை | 'http://user:pass@ip:port' | சாதாரண http:// URL-களுக்குப் பயன்படுத்தப்படுகிறது |
'https' விசை | 'http://user:pass@ip:port' | இதுவும் ஒரு http:// ப்ராக்ஸி URL தான்: urllib3 ப்ராக்ஸியிடம் CONNECT டன்னலைக் கோரி, அதற்குள் TLS-ஐ இயக்குகிறது |
timeout | timeout=(5, 15) | இணைக்க 5 வினாடிகள், படிக்க 15 வினாடிகள், எனவே இயங்காத இலக்கு ஒரு thread-ஐ முடக்க முடியாது |
| சுழற்சி | itertools.cycle(proxy_list) | உங்கள் நிலையான IP-களை வரிசையாக வழங்குகிறது |
வெறும் requests.get() முறையை விட Session ஏன் சிறந்தது
ஒவ்வொரு உயர்மட்ட requests.get() அழைப்பும் புதிய connection pool-ஐ உருவாக்குகிறது, எனவே ப்ராக்ஸிக்கான TCP இணைப்பு மற்றும் தளத்துடனான TLS handshake ஆகியவை ஒவ்வொரு முறையும் மீண்டும் மீண்டும் நிகழ்கின்றன. ஒரு Session அழைப்புகளுக்கு இடையில் அந்த இணைப்புகளைத் தொடர்ந்து வைத்திருக்கிறது. ஒரு IP வழியாக நூற்றுக்கணக்கான பக்கங்களைப் பெறும் ஸ்கிரிப்ட்டிற்கு, இந்த வித்தியாசம் மொத்த இயக்க நேரத்தில் தெளிவாகத் தெரியும்.
s.proxies.update(proxies) என்பதை ஒரு முறை அமைத்துவிட்டால், ஒவ்வொரு s.get() மற்றும் s.post() அழைப்பும் ப்ராக்ஸி வழியாகவே செல்லும். கவனிக்க வேண்டிய ஒரு விஷயம்: சூழலில் HTTP_PROXY அல்லது HTTPS_PROXY அமைக்கப்பட்டிருந்தால், requests அவற்றை session-இன் அமைப்புகளுடன் இணைக்கக்கூடும்; எது பயன்படுத்தப்படுகிறது என்பதை உறுதிப்படுத்த வேண்டியிருக்கும் போது, அழைப்பிலேயே proxies= என்பதை அனுப்பவும்.
பிழைகளும் அவற்றைப் புரிந்துகொள்ளும் முறையும்
ProxyErrorஉடன்407 Proxy Authentication Required: ப்ராக்ஸியை அணுக முடிகிறது, ஆனால் உங்கள் URL-இல் உள்ள உள்நுழைவு விவரங்கள் ஆர்டருடன் பொருந்தவில்லை. 407 பிழைப் பக்கத்தைப் பார்க்கவும்@,:அல்லது/ஆகியவற்றைக் கொண்டுள்ள பாஸ்வேர்டுகள் URL-ஐ உடைத்துவிடும்; முதலில் அவற்றைurllib.parse.quote(password, safe='')கொண்டு என்கோட் செய்யவும்- ப்ராக்ஸி URL-ஐ
https://என மாற்றுவது பொதுவாக இணைப்பை முறித்துவிடும்; உங்கள் ப்ராக்ஸி போர்ட் குறிப்பாக TLS போர்ட்டாக இல்லாவிட்டால், இரண்டு விசைகளுக்கும்http://என்பதையே வைத்திருக்கவும் ConnectTimeoutஎன்பது உள்நுழைவு விவரங்களை அல்ல, IP அல்லது போர்ட்டையே குறிக்கிறது; அணுகல்தன்மையை போர்ட் செக்கர் மூலம் சோதிக்கவும்
httpx மற்றும் aiohttp-இலும் இதே வடிவம்
இதே URL வடிவம் இதற்கும் பொருந்தும். httpx-இல், httpx.Client(proxy='http://user:pass@ip:port') என உருவாக்கவும்; aiohttp-இல், session.get(url, proxy=...) என்பதற்கு proxy= என அனுப்பவும். திட்டமிடல் மற்றும் மறுமுயற்சிகளுடன் கூடிய பெரிய அளவிலான தரவு சேகரிப்புக்கு பொதுவாக Scrapy எளிதானது.
படிப்படியாக
- 1
ப்ராக்ஸி URL-ஐ உருவாக்கவும்
ஒவ்வொரு ProxyV4
ip:port:user:passவரியையும்http://user:pass@ip:portஎன மாற்றியெழுதவும், அல்லது ப்ராக்ஸி வடிவ மாற்றி மூலம் முழு பட்டியலையும் மாற்றவும். - 2
dict-ஐ உருவாக்கவும்
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}என எழுதவும். - 3
இதை ஒரு Session-இல் இணைக்கவும்
s = requests.Session()-ஐ உருவாக்கி, கோரிக்கைகளுக்கு இடையில் இணைப்புகள் உயிர்ப்புடன் இருக்கs.proxies.update(proxies)என்பதை இயக்கவும். - 4
வெளியேறும் IP-ஐ அச்சிடவும்
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())என்பதை இயக்கவும்; வெளியீட்டில் வரும் IP ப்ராக்ஸியுடையதாக இருக்க வேண்டும்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
'https' உள்ளீடு ஏன் http:// URL ஆக உள்ளது?
இந்த scheme ஆனது Python எவ்வாறு இணையதளத்துடன் பேசுகிறது என்பதை அல்ல, ப்ராக்ஸியுடன் எவ்வாறு பேசுகிறது என்பதையே விவரிக்கிறது. urllib3 சாதாரண HTTP மூலம் ப்ராக்ஸியுடன் இணைந்து, CONNECT அனுப்பி, பின்னர் அந்த டன்னல் வழியாக https:// தளத்துடன் TLS-ஐ இயக்குகிறது, எனவே பக்கத்தின் ட்ராஃபிக் தொடர்ந்து என்க்ரிப்ட் செய்யப்பட்டிருக்கும்.
25 நிலையான ப்ராக்ஸிகளுக்கு கோரிக்கைகளை எவ்வாறு பகிர்வது?
25 URL-களையும் ஒரு பட்டியலில் வைக்கவும், pool = itertools.cycle(PROXIES) என்பதை உருவாக்கவும், ஒவ்வொரு கோரிக்கைக்கும் p = next(pool) என எடுத்து proxies={'http': p, 'https': p} என அனுப்பவும். எந்த ஒரு தனி முகவரியும் அதிக சுமைக்கு ஆளாகாமல் இருக்க IP-க்கு போதுமான கால இடைவெளியை பராமரிக்கவும்.
Python ஸ்கிரிப்ட்களிலிருந்து வரும் ட்ராஃபிக் கணக்கிடப்படுகிறதா?
இல்லை. ProxyV4 பிரைவேட் IPv4 மற்றும் நிலையான ISP திட்டங்கள் வரம்பற்ற அலைவரிசையுடன் வருகின்றன, எனவே நீண்ட நேரம் இயங்கும் ஸ்கிரிப்ட்கள் டேட்டா வரம்பை எதிர்கொள்ளாது.
மூலங்கள்
Python ஸ்கிரிப்ட்களுக்கான நிலையான IP பூல்
7 நாடுகளில் பிரைவேட் IPv4 மற்றும் US மற்றும் Vietnam-இல் நிலையான ISP. ஒற்றை IP அல்லது மொத்தமாக வாங்கவும்; அளவு அதிகரிக்கும் போது IP-க்கான விலை குறையும்.
நேரடி US விலைகளைச் சரிபார்க்கவும்