ProxyV4
TA ▾
ப்ராக்ஸிகளை வாங்கு

அங்கீகரிக்கப்பட்ட ப்ராக்ஸி வழியாக Python requests: படிப்படியான வழிகாட்டி

· Updated:

Python requests-இல் ப்ராக்ஸியைப் பயன்படுத்த, 'http' மற்றும் 'https' ஆகிய இரண்டு விசைகளும் http://user:pass@ip:port முகவரியைக் குறிக்கும் proxies dict-ஐ அனுப்பவும். அந்த dict-ஐ ஒரு requests.Session()-இல் வைத்தால், ஒவ்வொரு அழைப்பிற்கும் ப்ராக்ஸிக்கான அதே இணைப்பு மீண்டும் பயன்படுத்தப்படும்; இது ஒவ்வொரு கோரிக்கைக்கும் புதிய இணைப்பைத் திறப்பதை விட வேகமானது. கீழே: dict, session, நீங்கள் சந்திக்க வாய்ப்புள்ள பிழைகள் மற்றும் ProxyV4 வெளியேறும் IP-ஐச் சரிபார்க்கும் ஒரு-வரி முறை.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
பிரைவேட் IPv4 (டேட்டாசென்டர்)
🇺🇸 அமெரிக்கா
இருப்பில் உள்ளது
முதல்
$1.10 / IP / மாதம்
அளவு தள்ளுபடிகள்
  • 1 IP$1.85
  • 3+ IP-கள்$1.70
  • 10+ IP-கள்$1.60
  • 25+ IP-கள்$1.50
  • 50+ IP-கள்$1.40
  • 100+ IP-கள்$1.30
  • 200+ IP-கள்$1.20
  • 500+ IP-கள்$1.10
அமெரிக்கா-ஐ வாங்கு
பிரைவேட் IPv4 (டேட்டாசென்டர்)
🇻🇳 வியட்நாம்
இருப்பில் உள்ளது
முதல்
$1.10 / IP / மாதம்
அளவு தள்ளுபடிகள்
  • 1 IP$1.85
  • 3+ IP-கள்$1.70
  • 10+ IP-கள்$1.60
  • 25+ IP-கள்$1.50
  • 50+ IP-கள்$1.40
  • 100+ IP-கள்$1.30
  • 200+ IP-கள்$1.20
  • 500+ IP-கள்$1.10
வியட்நாம்-ஐ வாங்கு
தளங்கள் வாரியாக ப்ராக்ஸிகள்:Web Scraping & CrawlingSEO & SERP TrackingAmazon

proxies dict விளக்கம்

அமைப்புமதிப்புகாரணம்
'http' விசை'http://user:pass@ip:port'சாதாரண http:// URL-களுக்குப் பயன்படுத்தப்படுகிறது
'https' விசை'http://user:pass@ip:port'இதுவும் ஒரு http:// ப்ராக்ஸி URL தான்: urllib3 ப்ராக்ஸியிடம் CONNECT டன்னலைக் கோரி, அதற்குள் TLS-ஐ இயக்குகிறது
timeouttimeout=(5, 15)இணைக்க 5 வினாடிகள், படிக்க 15 வினாடிகள், எனவே இயங்காத இலக்கு ஒரு thread-ஐ முடக்க முடியாது
சுழற்சிitertools.cycle(proxy_list)உங்கள் நிலையான IP-களை வரிசையாக வழங்குகிறது

வெறும் requests.get() முறையை விட Session ஏன் சிறந்தது

ஒவ்வொரு உயர்மட்ட requests.get() அழைப்பும் புதிய connection pool-ஐ உருவாக்குகிறது, எனவே ப்ராக்ஸிக்கான TCP இணைப்பு மற்றும் தளத்துடனான TLS handshake ஆகியவை ஒவ்வொரு முறையும் மீண்டும் மீண்டும் நிகழ்கின்றன. ஒரு Session அழைப்புகளுக்கு இடையில் அந்த இணைப்புகளைத் தொடர்ந்து வைத்திருக்கிறது. ஒரு IP வழியாக நூற்றுக்கணக்கான பக்கங்களைப் பெறும் ஸ்கிரிப்ட்டிற்கு, இந்த வித்தியாசம் மொத்த இயக்க நேரத்தில் தெளிவாகத் தெரியும்.

s.proxies.update(proxies) என்பதை ஒரு முறை அமைத்துவிட்டால், ஒவ்வொரு s.get() மற்றும் s.post() அழைப்பும் ப்ராக்ஸி வழியாகவே செல்லும். கவனிக்க வேண்டிய ஒரு விஷயம்: சூழலில் HTTP_PROXY அல்லது HTTPS_PROXY அமைக்கப்பட்டிருந்தால், requests அவற்றை session-இன் அமைப்புகளுடன் இணைக்கக்கூடும்; எது பயன்படுத்தப்படுகிறது என்பதை உறுதிப்படுத்த வேண்டியிருக்கும் போது, அழைப்பிலேயே proxies= என்பதை அனுப்பவும்.

பிழைகளும் அவற்றைப் புரிந்துகொள்ளும் முறையும்

  • ProxyError உடன் 407 Proxy Authentication Required: ப்ராக்ஸியை அணுக முடிகிறது, ஆனால் உங்கள் URL-இல் உள்ள உள்நுழைவு விவரங்கள் ஆர்டருடன் பொருந்தவில்லை. 407 பிழைப் பக்கத்தைப் பார்க்கவும்
  • @, : அல்லது / ஆகியவற்றைக் கொண்டுள்ள பாஸ்வேர்டுகள் URL-ஐ உடைத்துவிடும்; முதலில் அவற்றை urllib.parse.quote(password, safe='') கொண்டு என்கோட் செய்யவும்
  • ப்ராக்ஸி URL-ஐ https:// என மாற்றுவது பொதுவாக இணைப்பை முறித்துவிடும்; உங்கள் ப்ராக்ஸி போர்ட் குறிப்பாக TLS போர்ட்டாக இல்லாவிட்டால், இரண்டு விசைகளுக்கும் http:// என்பதையே வைத்திருக்கவும்
  • ConnectTimeout என்பது உள்நுழைவு விவரங்களை அல்ல, IP அல்லது போர்ட்டையே குறிக்கிறது; அணுகல்தன்மையை போர்ட் செக்கர் மூலம் சோதிக்கவும்

httpx மற்றும் aiohttp-இலும் இதே வடிவம்

இதே URL வடிவம் இதற்கும் பொருந்தும். httpx-இல், httpx.Client(proxy='http://user:pass@ip:port') என உருவாக்கவும்; aiohttp-இல், session.get(url, proxy=...) என்பதற்கு proxy= என அனுப்பவும். திட்டமிடல் மற்றும் மறுமுயற்சிகளுடன் கூடிய பெரிய அளவிலான தரவு சேகரிப்புக்கு பொதுவாக Scrapy எளிதானது.

படிப்படியாக

  1. 1

    ப்ராக்ஸி URL-ஐ உருவாக்கவும்

    ஒவ்வொரு ProxyV4 ip:port:user:pass வரியையும் http://user:pass@ip:port என மாற்றியெழுதவும், அல்லது ப்ராக்ஸி வடிவ மாற்றி மூலம் முழு பட்டியலையும் மாற்றவும்.

  2. 2

    dict-ஐ உருவாக்கவும்

    proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'} என எழுதவும்.

  3. 3

    இதை ஒரு Session-இல் இணைக்கவும்

    s = requests.Session()-ஐ உருவாக்கி, கோரிக்கைகளுக்கு இடையில் இணைப்புகள் உயிர்ப்புடன் இருக்க s.proxies.update(proxies) என்பதை இயக்கவும்.

  4. 4

    வெளியேறும் IP-ஐ அச்சிடவும்

    print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()) என்பதை இயக்கவும்; வெளியீட்டில் வரும் IP ப்ராக்ஸியுடையதாக இருக்க வேண்டும்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

'https' உள்ளீடு ஏன் http:// URL ஆக உள்ளது?

இந்த scheme ஆனது Python எவ்வாறு இணையதளத்துடன் பேசுகிறது என்பதை அல்ல, ப்ராக்ஸியுடன் எவ்வாறு பேசுகிறது என்பதையே விவரிக்கிறது. urllib3 சாதாரண HTTP மூலம் ப்ராக்ஸியுடன் இணைந்து, CONNECT அனுப்பி, பின்னர் அந்த டன்னல் வழியாக https:// தளத்துடன் TLS-ஐ இயக்குகிறது, எனவே பக்கத்தின் ட்ராஃபிக் தொடர்ந்து என்க்ரிப்ட் செய்யப்பட்டிருக்கும்.

25 நிலையான ப்ராக்ஸிகளுக்கு கோரிக்கைகளை எவ்வாறு பகிர்வது?

25 URL-களையும் ஒரு பட்டியலில் வைக்கவும், pool = itertools.cycle(PROXIES) என்பதை உருவாக்கவும், ஒவ்வொரு கோரிக்கைக்கும் p = next(pool) என எடுத்து proxies={'http': p, 'https': p} என அனுப்பவும். எந்த ஒரு தனி முகவரியும் அதிக சுமைக்கு ஆளாகாமல் இருக்க IP-க்கு போதுமான கால இடைவெளியை பராமரிக்கவும்.

Python ஸ்கிரிப்ட்களிலிருந்து வரும் ட்ராஃபிக் கணக்கிடப்படுகிறதா?

இல்லை. ProxyV4 பிரைவேட் IPv4 மற்றும் நிலையான ISP திட்டங்கள் வரம்பற்ற அலைவரிசையுடன் வருகின்றன, எனவே நீண்ட நேரம் இயங்கும் ஸ்கிரிப்ட்கள் டேட்டா வரம்பை எதிர்கொள்ளாது.

மூலங்கள்

Python ஸ்கிரிப்ட்களுக்கான நிலையான IP பூல்

7 நாடுகளில் பிரைவேட் IPv4 மற்றும் US மற்றும் Vietnam-இல் நிலையான ISP. ஒற்றை IP அல்லது மொத்தமாக வாங்கவும்; அளவு அதிகரிக்கும் போது IP-க்கான விலை குறையும்.

நேரடி US விலைகளைச் சரிபார்க்கவும்

Related articles

தளங்கள் வாரியாக ப்ராக்ஸிகள்
வலை ஸ்கிராப்பிங்கிற்கான ப்ராக்ஸிகள்: அளவிடப்படாத டிராஃபிக்குடன் கூடிய நிலையான IP பூல்
Python, Scrapy, Playwright மற்றும் Selenium-க்கான வலை ஸ்கிராப்பிங் ப்ராக்ஸிகள்: பிரைவேட் IPv4 மற்றும் நிலையான ISP முகவரிகள், வரம்பற்ற டேட்டா, நேரடி IP கட்டணம்.
ப்ராக்ஸி அமைவு
Playwright proxy அங்கீகாரம், ஒரு சூழலுக்கு ஒரு நிலையான IP
Node.js அல்லது Python Playwright சூழலுக்கு அங்கீகரித்த HTTP(S) proxy வழங்கி, நேர மண்டலம், locale-ஐ பொருத்தி, வெளியேறும் IP முகவரியை உறுதிசெய்யவும்.
ப்ராக்ஸி அமைவு
Scrapy ப்ராக்ஸிகள்: meta['proxy'], மிடில்வேர் வரிசை மற்றும் சுழற்சி
Scrapy-ல் HTTP(S) proxies: request.meta['proxy'] அமைத்து, HttpProxyMiddleware (750)-க்கு முன் middleware வரிசைப்படுத்தி IP-களை சுழற்றி crawl செய்யவும்.
இலவசக் கருவிகள்
உங்கள் கருவி எதிர்பார்க்கும் வடிவத்திற்கு ப்ராக்ஸி பட்டியலை மாற்றியமையுங்கள்
உலாவியிலேயே proxy பட்டியல்களை ip:port:user:pass, user:pass@ip:port, http:// URLs, SOCKS5 URIs, JSON arrays, FoxyProxy கோப்புகளாக மொத்தமாக மாற்றலாம்.
தளங்கள் வாரியாக ப்ராக்ஸிகள்
SEO ரேங்க் டிராக்கிங்கிற்கான ப்ராக்ஸிகள்: உள்ளூர் பயனர் பார்க்கும் தேடல் முடிவுப் பக்கத்தைக் காணுங்கள்
US, UK, வியட்நாம், ஜப்பான் உட்பட 8 சந்தைகளில் private IPv4 proxies: உள்ளூர் பயனர்கள் காணும் தரவரிசை, local packs மற்றும் விளம்பரங்களை துல்லியமாக அறியலாம்.
தளங்கள் வாரியாக ப்ராக்ஸிகள்
ஒவ்வொரு கணக்கிற்கும் நிரந்தர முகவரியை வழங்கும் Amazon seller proxies
Seller Central, KDP, Merch-க்கான Amazon seller proxy: கணக்கிற்கு ஒரு US static ISP அல்லது UK/Japan private IPv4. உங்களுக்காக மட்டுமே, புதுப்பிக்கும் வரை மாறாது.
IPV4 · united states
ஸ்கிராப்பிங், ரேங்க் டிராக்கிங் மற்றும் விளம்பர சரிபார்ப்புகளுக்கான US பிரைவேட் IPv4 Proxy தொகுப்பு
US private IPv4 proxies: நிலையான அமெரிக்க datacenter IP, ஒருவருக்கு ஒரு IP, வரம்பற்ற bandwidth. Scraping, SERP டிராக்கிங், US விளம்பர சரிபார்ப்புகளுக்கு ஏற்றது.
IPV4 · vietnam
வியட்நாம் பிரைவேட் IPv4 Proxy: மொத்த பயன்பாட்டில் ஒரு கணக்கிற்கு ஒரு நிலையான IP
வியட்நாம் பிரைவேட் IPv4 proxy: நிலையான வியட்நாமிய datacenter IP, ஒருவருக்கு ஒன்று, குறைந்த மொத்த விலை. சீடிங், கூடுதல் Shopee கடைகள், டூல்களுக்கு ஏற்றது.