အထောက်အထားစိစစ်ထားသော ပရောက်စီမှတစ်ဆင့် Python requests အသုံးပြုနည်း အဆင့်ဆင့်
ProxyV4 အင်ဂျင်နီယာအဖွဲ့မှ · Updated:
Python requests တွင် ပရောက်စီတစ်ခုကို အသုံးပြုရန် 'http' နှင့် 'https' key နှစ်ခုစလုံး http://user:pass@ip:port သို့ ညွှန်ပြထားသည့် proxies dict တစ်ခုကို ပေးပို့ပါ။ ထို dict ကို requests.Session() ပေါ်တွင် ထည့်သွင်းထားပါက ပရောက်စီသို့ တူညီသော connection ကို ခေါ်ဆိုမှုတိုင်းအတွက် ပြန်လည်အသုံးပြုနိုင်ပြီး request တစ်ခုစီအတွက် အသစ်ဖွင့်ခြင်းထက် ပိုမိုမြန်ဆန်ပါသည်။ အောက်တွင် dict၊ session၊ သင်ကြုံတွေ့နိုင်သည့် error များနှင့် ProxyV4 ထွက်ပေါက် IP ကို စာကြောင်းတစ်ကြောင်းတည်းဖြင့် စစ်ဆေးနည်းတို့ကို ဖော်ပြထားသည်။
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP၁.၈၅ US$
- 3+ IP များ၁.၇၀ US$
- 10+ IP များ၁.၆၀ US$
- 25+ IP များ၁.၅၀ US$
- 50+ IP များ၁.၄၀ US$
- 100+ IP များ၁.၃၀ US$
- 200+ IP များ၁.၂၀ US$
- 500+ IP များ၁.၁၀ US$
- 1 IP၁.၈၅ US$
- 3+ IP များ၁.၇၀ US$
- 10+ IP များ၁.၆၀ US$
- 25+ IP များ၁.၅၀ US$
- 50+ IP များ၁.၄၀ US$
- 100+ IP များ၁.၃၀ US$
- 200+ IP များ၁.၂၀ US$
- 500+ IP များ၁.၁၀ US$
proxies dict ရှင်းလင်းချက်
| ဆက်တင် | တန်ဖိုး | အကြောင်းရင်း |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | ရိုးရိုး http:// URL များအတွက် အသုံးပြုသည် |
'https' key | 'http://user:pass@ip:port' | ပုံမှန် http:// ပရောက်စီ URL အဖြစ်ပင် ရှိနေပါသည်- urllib3 သည် ပရောက်စီထံမှ CONNECT tunnel တစ်ခုကို တောင်းဆိုပြီး ၎င်းအတွင်း TLS ကို လုပ်ဆောင်သည် |
timeout | timeout=(5, 15) | ချိတ်ဆက်ရန် 5 s၊ ဖတ်ရန် 15 s သတ်မှတ်ထားသဖြင့် ရပ်တန့်နေသော target ကြောင့် thread တစ်ခုလုံး ရပ်တန့်မသွားနိုင်ပါ |
| အလှည့်ကျသုံးခြင်း | itertools.cycle(proxy_list) | သင့် static IP များကို အလှည့်ကျ ထုတ်ပေးသည် |
သီးသန့် requests.get() ထက် Session က အဘယ်ကြောင့် ပိုကောင်းသနည်း
အဆင့်မြင့် requests.get() ခေါ်ဆိုမှုတိုင်းသည် connection pool အသစ်တစ်ခုကို တည်ဆောက်သောကြောင့် ပရောက်စီသို့ TCP connection နှင့် ဝဘ်ဆိုက်နှင့် TLS handshake တို့သည် အကြိမ်တိုင်း ထပ်ခါတလဲလဲ ဖြစ်ပေါ်နေပါသည်။ Session တစ်ခုသည် ခေါ်ဆိုမှုများကြားတွင် အဆိုပါ connection များကို ဆက်လက်ရှင်သန်စေပါသည်။ IP တစ်ခုတည်းမှတစ်ဆင့် စာမျက်နှာ ရာနှင့်ချီ ရယူရသော script တစ်ခုအတွက် ထိုကွာခြားချက်သည် စုစုပေါင်း run ချိန်တွင် သိသာစွာ မြင်တွေ့ရမည်ဖြစ်သည်။
s.proxies.update(proxies) ကို တစ်ကြိမ်သတ်မှတ်လိုက်ရုံဖြင့် s.get() နှင့် s.post() တိုင်းသည် ပရောက်စီမှတစ်ဆင့် ဖြတ်သန်းသွားမည်ဖြစ်သည်။ သိထားသင့်သည့် အချက်တစ်ခုမှာ environment တွင် HTTP_PROXY သို့မဟုတ် HTTPS_PROXY သတ်မှတ်ထားပါက requests သည် ၎င်းတို့ကို session ၏ ဆက်တင်များနှင့် ပေါင်းစပ်သွားနိုင်သည်ဖြစ်ရာ မည်သည့်အရာကို အသုံးပြုထားသည်ကို သေချာစေလိုပါက ခေါ်ဆိုမှုတွင် proxies= ကို တိုက်ရိုက် ထည့်သွင်းပေးပါ။
Error များနှင့် ၎င်းတို့ကို ဖတ်ရှုနားလည်နည်း
407 Proxy Authentication RequiredပါရှိသောProxyError- ပရောက်စီသို့ ချိတ်ဆက်နိုင်သော်လည်း သင့် URL ရှိ login အချက်အလက်များသည် ဝယ်ယူထားသောအော်ဒါနှင့် မကိုက်ညီပါ။ 407 error စာမျက်နှာ ကို ကြည့်ပါ@,:သို့မဟုတ်/ပါဝင်သော စကားဝှက်များသည် URL ကို ပျက်ယွင်းစေပါသည်- ၎င်းတို့ကို ဦးစွာurllib.parse.quote(password, safe='')ဖြင့် encode လုပ်ပါ- ပရောက်စီ URL ကို
https://သို့ ပြောင်းလဲခြင်းသည် အများအားဖြင့် ချိတ်ဆက်မှုကို ပြတ်တောက်စေပါသည်- သင့် ပရောက်စီ port သည် TLS port သီးသန့် မဟုတ်ပါက key နှစ်ခုစလုံးအတွက်http://ကိုသာ ဆက်လက်ထားရှိပါ ConnectTimeoutသည် အထောက်အထားများကြောင့် မဟုတ်ဘဲ IP သို့မဟုတ် port ကြောင့်ဖြစ်သည်ကို ညွှန်ပြပါသည်- ချိတ်ဆက်နိုင်မှုကို port စစ်ဆေးကိရိယာ ဖြင့် စစ်ဆေးပါ
httpx နှင့် aiohttp ရှိ တူညီသော ပုံစံ
URL ပုံစံသည် အတူတူပင် အကျုံးဝင်ပါသည်။ httpx တွင် httpx.Client(proxy='http://user:pass@ip:port') ကို ဖန်တီးပါ- aiohttp တွင် session.get(url, proxy=...) သို့ proxy= ကို ထည့်သွင်းပေးပါ။ အချိန်ဇယားဆွဲခြင်းနှင့် ပြန်လည်ကြိုးစားခြင်းတို့ ပါဝင်သည့် ပိုမိုကြီးမားသော crawling များအတွက် Scrapy တွင် ပိုမိုလွယ်ကူလေ့ရှိပါသည်။
တစ်ဆင့်ချင်းစီ လုပ်ဆောင်ရန်
- 1
ပရောက်စီ URL တည်ဆောက်ပါ
ProxyV4 ၏
ip:port:user:passစာကြောင်းတစ်ခုစီကိုhttp://user:pass@ip:portအဖြစ် ပြန်လည်ရေးသားပါ၊ သို့မဟုတ် စာရင်းတစ်ခုလုံးကို proxy format ပြောင်းလဲကိရိယာ ဖြင့် ပြောင်းလဲပါ။ - 2
dict ကို ဖန်တီးပါ
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}ဟု ရေးပါ။ - 3
၎င်းကို Session နှင့် တွဲပါ
requests များကြားတွင် connection များကို ဆက်လက်ရှင်သန်စေရန်
s = requests.Session()ကို ဖန်တီးပြီးs.proxies.update(proxies)ကို ခေါ်ဆိုပါ။ - 4
ထွက်ပေါက် IP ကို ထုတ်ပြပါ
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())ကို run ပါ- ထွက်ပေါ်လာသော output ရှိ IP သည် ပရောက်စီ၏ IP ဖြစ်ရပါမည်။
မကြာခဏမေးလေ့ရှိသော မေးခွန်းများ
'https' ထည့်သွင်းမှုသည် အဘယ်ကြောင့် http:// URL ဖြစ်နေသနည်း။
အဆိုပါ scheme သည် ဝဘ်ဆိုက်နှင့် မဟုတ်ဘဲ Python က ပရောက်စီနှင့် မည်သို့ ဆက်သွယ်သည်ကို ဖော်ပြခြင်းဖြစ်ပါသည်။ urllib3 သည် ပရောက်စီသို့ သာမန် HTTP ဖြင့် ချိတ်ဆက်ကာ CONNECT ကို ပေးပို့ပြီးနောက် ထို tunnel မှတစ်ဆင့် https:// ဆိုက်နှင့် TLS ပြုလုပ်သောကြောင့် စာမျက်နှာ traffic သည် ဆက်လက် encrypt လုပ်ထားဆဲဖြစ်ပါသည်။
requests များကို static ပရောက်စီ 25 ခုပေါ်သို့ မည်သို့ ဖြန့်ခွဲရမည်နည်း။
URL 25 ခုကို list တစ်ခုထဲတွင် ထည့်ပါ၊ pool = itertools.cycle(PROXIES) ကို ဖန်တီးပြီး request တစ်ခုစီအတွက် p = next(pool) ကို ယူကာ proxies={'http': p, 'https': p} ပေးပို့ပါ။ လိပ်စာတစ်ခုတည်းကို ဝန်မပိစေရန် IP တစ်ခုစီအတွက် သင့်လျော်သော delay တစ်ခု သတ်မှတ်ထားပါ။
Python scripts များမှ traffic ကို ကန့်သတ်တွက်ချက်ပါသလား။
မကန့်သတ်ပါ။ ProxyV4 ၏ သီးသန့် IPv4 နှင့် static ISP အစီအစဉ်များသည် unlimited bandwidth ဖြင့် လာသောကြောင့် အချိန်ကြာမြင့်စွာ run ရသော scripts များသည် data ကန့်သတ်ချက်နှင့် ကြုံတွေ့ရမည်မဟုတ်ပါ။
ရင်းမြစ်များ
Python scripts များအတွက် static IP pool တစ်ခု
နိုင်ငံ 7 နိုင်ငံရှိ သီးသန့် IPv4 နှင့် အမေရိကန်ပြည်ထောင်စုနှင့် ဗီယက်နမ်ရှိ static ISP များ။ IP တစ်ခုတည်း သို့မဟုတ် အစုလိုက် ဝယ်ယူနိုင်ပြီး အရေအတွက်များလေ IP တစ်ခုချင်းစီ၏ ဈေးနှုန်း သက်သာလေဖြစ်သည်။
လက်ရှိ အမေရိကန် ဈေးနှုန်းများကို စစ်ဆေးပါ