ប្រើប្រាស់ Python requests តាមប្រូកស៊ីមានផ្ទៀងផ្ទាត់ មួយជំហានម្តងៗ
ដោយក្រុមវិស្វកម្ម ProxyV4 · Updated:
ដើម្បីប្រើប្រូកស៊ីក្នុង Python requests សូមផ្ញើ proxies dict ដែល key 'http' និង 'https' ចង្អុលទៅ http://user:pass@ip:port ទាំងពីរ។ ដាក់ dict នោះលើ requests.Session() នោះការតភ្ជាប់ទៅកាន់ប្រូកស៊ីដដែលនឹងត្រូវយកមកប្រើឡើងវិញសម្រាប់រាល់ call ដែលលឿនជាងការបើកថ្មីរាល់ពេលស្នើសុំ។ ខាងក្រោមនេះ៖ dict, session, កំហុសដែលងាយជួបប្រទះ និងការពិនិត្យមើល IP ចេញរបស់ ProxyV4 មួយបន្ទាត់ខ្លី។
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1.85$
- 3+ IP1.70$
- 10+ IP1.60$
- 25+ IP1.50$
- 50+ IP1.40$
- 100+ IP1.30$
- 200+ IP1.20$
- 500+ IP1.10$
- 1 IP1.85$
- 3+ IP1.70$
- 10+ IP1.60$
- 25+ IP1.50$
- 50+ IP1.40$
- 100+ IP1.30$
- 200+ IP1.20$
- 500+ IP1.10$
ការពន្យល់អំពី proxies dict
| ការកំណត់ | តម្លៃ | មូលហេតុ |
|---|---|---|
Key 'http' | 'http://user:pass@ip:port' | ប្រើសម្រាប់ URL ប្រភេទ http:// ធម្មតា |
Key 'https' | 'http://user:pass@ip:port' | នៅតែជា URL ប្រូកស៊ី http://៖ urllib3 ស្នើសុំ CONNECT tunnel ពីប្រូកស៊ី ហើយដំណើរការ TLS នៅខាងក្នុងវា |
timeout | timeout=(5, 15) | 5 វិនាទីដើម្បីតភ្ជាប់, 15 វិនាទីដើម្បីអាន ទើប target ដែលគាំងមិនធ្វើឱ្យ thread ជាប់គាំង |
| ការបង្វិល | itertools.cycle(proxy_list) | ចែកចាយ IP ថេររបស់អ្នកតាមវេន |
មូលហេតុដែល Session ល្អជាង requests.get() ទទេ
រាល់ការហៅ requests.get() កម្រិតកំពូលតែងបង្កើត connection pool ថ្មី ដូច្នេះការតភ្ជាប់ TCP ទៅកាន់ប្រូកស៊ី និង TLS handshake ជាមួយគេហទំព័រត្រូវធ្វើឡើងវិញរាល់ពេល។ Session រក្សាការតភ្ជាប់ទាំងនោះឱ្យនៅរស់រវាង call នីមួយៗ។ សម្រាប់ស្គ្រីបដែលទាញទិន្នន័យរាប់រយទំព័រតាមរយៈ IP តែមួយ ភាពខុសគ្នានេះបង្ហាញយ៉ាងច្បាស់លើរយៈពេលដំណើរការសរុប។
កំណត់ s.proxies.update(proxies) តែម្តង នោះរាល់ s.get() និង s.post() នឹងរត់កាត់ប្រូកស៊ី។ ចំណុចមួយគួរដឹង៖ ប្រសិនបើ HTTP_PROXY ឬ HTTPS_PROXY ត្រូវបានកំណត់ក្នុង environment នោះ requests អាចនឹងច្របាច់បញ្ចូលគ្នាជាមួយការកំណត់របស់ session។ សូមបញ្ជូន proxies= នៅក្នុង call ដោយផ្ទាល់ នៅពេលអ្នកចង់ប្រាកដថាតម្លៃមួយណាត្រូវបានប្រើ។
កំហុស និងវិធីស្វែងយល់ពីពួកវា
ProxyErrorជាមួយ407 Proxy Authentication Required៖ អាចភ្ជាប់ទៅប្រូកស៊ីបាន ប៉ុន្តែព័ត៌មានចូលក្នុង URL របស់អ្នកមិនត្រូវនឹងការបញ្ជាទិញទេ។ សូមមើល ទំព័រកំហុស 407- លេខសម្ងាត់ដែលមាន
@,:ឬ/ធ្វើឱ្យខូចទម្រង់ URL សូមអ៊ិនកូដពួកវាជាមុនជាមួយurllib.parse.quote(password, safe='') - ការប្តូរ URL ប្រូកស៊ីទៅ
https://ច្រើនតែធ្វើឱ្យដាច់ការតភ្ជាប់។ សូមរក្សាhttp://សម្រាប់ key ទាំងពីរ លើកលែងតែច្រកប្រូកស៊ីរបស់អ្នកជាច្រក TLS ជាក់លាក់ ConnectTimeoutសំដៅលើបញ្ហា IP ឬច្រក មិនមែនព័ត៌មានសម្ងាត់ទេ សូមតេស្តដំណើរការតភ្ជាប់ជាមួយ កម្មវិធីពិនិត្យច្រក
ទម្រង់ដូចគ្នានៅក្នុង httpx និង aiohttp
ទម្រង់ URL អាចយកទៅប្រើដូចគ្នា។ ក្នុង httpx សូមបង្កើត httpx.Client(proxy='http://user:pass@ip:port') ហើយក្នុង aiohttp សូមបញ្ជូន proxy= ទៅកាន់ session.get(url, proxy=...)។ ការទាញទិន្នន័យធំៗដែលមានកាលវិភាគ និងការសាកល្បងឡើងវិញ ច្រើនតែងាយស្រួលជាងជាមួយ Scrapy។
មួយជំហានម្តងៗ
- 1
បង្កើត URL ប្រូកស៊ី
សរសេរជួរ
ip:port:user:passនីមួយៗរបស់ ProxyV4 ឡើងវិញជាhttp://user:pass@ip:portឬបំប្លែងបញ្ជីទាំងមូលជាមួយ ឧបករណ៍បំប្លែងទម្រង់ប្រូកស៊ី។ - 2
បង្កើត dict
សរសេរ
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}។ - 3
ភ្ជាប់វាទៅកាន់ Session
បង្កើត
s = requests.Session()ហើយហៅs.proxies.update(proxies)ដើម្បីរក្សាការតភ្ជាប់ឱ្យនៅបើកចំហរវាងសំណើនានា។ - 4
បង្ហាញ IP ចេញ
ដំណើរការ
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())នោះ IP ក្នុងលទ្ធផលចេញមកគួរតែជា IP របស់ប្រូកស៊ី។
សំណួរដែលសួរញឹកញាប់
ហេតុអ្វីធាតុ 'https' ប្រើ URL http://?
Scheme នេះបង្ហាញពីរបៀបដែល Python ទំនាក់ទំនងជាមួយប្រូកស៊ី មិនមែនជាមួយគេហទំព័រទេ។ urllib3 តភ្ជាប់ទៅប្រូកស៊ីតាម HTTP ធម្មតា ផ្ញើ CONNECT រួចដំណើរការ TLS ជាមួយគេហទំព័រ https:// តាមរយៈ tunnel នោះ ដូច្នេះ traffic ទំព័រនៅតែត្រូវបានអ៊ិនគ្រីបដដែល។
តើខ្ញុំអាចចែកចាយសំណើលើប្រូកស៊ីថេរ 25 យ៉ាងដូចម្តេច?
ដាក់ URL ទាំង 25 ក្នុងបញ្ជីមួយ បង្កើត pool = itertools.cycle(PROXIES) ហើយសម្រាប់សំណើនីមួយៗ យក p = next(pool) រួចបញ្ជូន proxies={'http': p, 'https': p}។ រក្សារយៈពេលពន្យាត្រឹមត្រូវសម្រាប់ IP នីមួយៗ ដើម្បីកុំឱ្យអាសយដ្ឋានណាមួយផ្ទុកលើសទម្ងន់។
តើ traffic ពីស្គ្រីប Python ត្រូវបានវាស់កម្រិតទិន្នន័យដែរឬទេ?
ទេ កញ្ចប់ IPv4 ផ្ទាល់ខ្លួន និង ISP ថេររបស់ ProxyV4 ផ្តល់កម្រិតបញ្ជូនគ្មានដែនកំណត់ ដូច្នេះស្គ្រីបដែលដំណើរការយូរនឹងមិនជួបបញ្ហាទិន្នន័យលើសកម្រិតឡើយ។
ប្រភព
បណ្តុំ IP ថេរសម្រាប់ស្គ្រីប Python
IPv4 ផ្ទាល់ខ្លួនក្នុង 7 ប្រទេស រួមជាមួយ ISP ថេរនៅសហរដ្ឋអាមេរិក និងវៀតណាម។ ទិញ IP មួយ ឬទិញច្រើនក្នុងពេលតែមួយ ដោយតម្លៃក្នុងមួយ IP នឹងធ្លាក់ចុះតាមចំនួនទិញ។
ពិនិត្យតម្លៃផ្ទាល់នៅសហរដ្ឋអាមេរិក