Scrapy proxy များ- meta['proxy']၊ middleware အစီအစဉ်နှင့် rotation
ProxyV4 အင်ဂျင်နီယာအဖွဲ့မှ · Updated:
Scrapy တွင် proxy တစ်ခုကို request အလိုက် request.meta['proxy'] = 'http://user:pass@ip:port' ဖြင့် သတ်မှတ်ပြီး ပါဝင်ပြီးသား HttpProxyMiddleware (order 750) က user:pass အပိုင်းကို Proxy-Authorization header အဖြစ် ပြောင်းလဲပေးပါသည်။ ၎င်းမတိုင်မီ အလုပ်လုပ်မည့် downloader middleware အသေးစားလေးတစ်ခုကို 740 တွင် ထည့်သွင်းထားပါက သင့် spider မှ ထုတ်ပေးသော request တိုင်းသည် သင့် ProxyV4 pool ထဲမှ IP တစ်ခုကို ရွေးချယ်နိုင်မည် ဖြစ်သည်။
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP၁.၈၅ US$
- 3+ IP များ၁.၇၀ US$
- 10+ IP များ၁.၆၀ US$
- 25+ IP များ၁.၅၀ US$
- 50+ IP များ၁.၄၀ US$
- 100+ IP များ၁.၃၀ US$
- 200+ IP များ၁.၂၀ US$
- 500+ IP များ၁.၁၀ US$
- 1 IP၁.၈၅ US$
- 3+ IP များ၁.၇၀ US$
- 10+ IP များ၁.၆၀ US$
- 25+ IP များ၁.၅၀ US$
- 50+ IP များ၁.၄၀ US$
- 100+ IP များ၁.၃၀ US$
- 200+ IP များ၁.၂၀ US$
- 500+ IP များ၁.၁၀ US$
Middleware နံပါတ် အဘယ်ကြောင့် အရေးကြီးသနည်း
Downloader middleware များသည် request ထွက်ခွာရာလမ်းကြောင်းတွင် ငယ်စဉ်ကြီးလိုက် အစီအစဉ်အတိုင်း အလုပ်လုပ်ကြသည်။ 750 ရှိ HttpProxyMiddleware သည် meta['proxy'] ကို ဖတ်ရှုပြီး URL မှ အထောက်အထားများကို ဖယ်ထုတ်ကာ auth header ကို ရေးသားပေးပါသည်။ သင့်ကိုယ်ပိုင် middleware က နောက်မှ (ဥပမာ 800 တွင်) proxy ကို သတ်မှတ်ပါက ပါဝင်ပြီးသား middleware က အလုပ်လုပ်ပြီးသွားပြီဖြစ်၍ အထောက်အထားများ ဘယ်တော့မှ ပြောင်းလဲမည်မဟုတ်ဘဲ proxy က 407 ဖြင့် ပြန်လည်တုံ့ပြန်ပါလိမ့်မည်။ သင့် middleware ကို 740 တွင် မှတ်ပုံတင်ခြင်းက ၎င်းကို ရှေ့ဆုံးမှ အလုပ်လုပ်စေပါသည်။
| သတ်မှတ်ချက် | အကြံပြုထားသော တန်ဖိုး | အကျိုးသက်ရောက်မှု |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | အဆိုပါ request ကို သတ်မှတ်ထားသော ProxyV4 proxy မှတစ်ဆင့် ပို့ပေးသည် |
| သင့် middleware အစီအစဉ် | 740 | HttpProxyMiddleware (750) မတိုင်မီ အလုပ်လုပ်သောကြောင့် login အချက်အလက်များကို encode လုပ်ပေးသည် |
CONCURRENT_REQUESTS_PER_IP | 2 မှ 4 | ဦးတည်ရာ IP တစ်ခုစီအတွက် ပြိုင်တူ request များကို ကန့်သတ်ပေးပြီး ဆာဗာတစ်ခုစီကို ဝန်မပိစေရန် ယဉ်ကျေးစွာ ကန့်သတ်ထိန်းညှိပေးသည် |
AUTOTHROTTLE_ENABLED | True | ပစ်မှတ်ဆိုက်၏ တုံ့ပြန်မှုအမြန်နှုန်းပေါ် မူတည်၍ Scrapy အား ကြာချိန်များကို တိုးခြင်း သို့မဟုတ် လျှော့ခြင်း ပြုလုပ်စေသည် |
Rotation middleware အကျဉ်းချုပ် ဖွဲ့စည်းပုံ
from_crawler()တွင် settings ထဲမှ proxy စာရင်းကို ဖတ်ယူပြီး middleware instance ပေါ်တွင် ထိန်းသိမ်းထားပါprocess_request()တွင် request ၌ proxy မပါရှိသေးပါကrequest.meta['proxy'] = random.choice(self.proxies)ကို သတ်မှတ်ပေးပါ- တုံ့ပြန်မှုတစ်ခုသည်
429သို့မဟုတ်503ပြန်လာပါက ငြင်းပယ်ခံရသော proxy အစား pool ထဲမှ အခြား proxy တစ်ခုဖြင့် ပြန်လည်ကြိုးစားပါ - Request များကြား အချိန်ခြားနားချက်သည် နာရီလက်တံကဲ့သို့ တသမတ်တည်း မဖြစ်စေဘဲ ကွဲပြားစေရန်
DOWNLOAD_DELAY = 1.0နှင့်RANDOMIZE_DOWNLOAD_DELAY = Trueကို ပေါင်းစပ်အသုံးပြုပါ
Pool ပမာဏ သတ်မှတ်ခြင်း
Scrapy crawl တစ်ခုသည် တစ်မိနစ်လျှင် request အမြောက်အမြား ပို့လွှတ်နိုင်သောကြောင့် IP အရေအတွက်သည် တစ်ခုချင်းစီကို မည်မျှညင်သာစွာ အသုံးပြုမည်ကို ဆုံးဖြတ်ပေးပါသည်။ ProxyV4 တွင် အနည်းဆုံးမှာယူရမည့် ကန့်သတ်ချက်မရှိဘဲ အရေအတွက်များလာသည်နှင့်အမျှ IP တစ်ခုချင်းစီ၏ ဈေးနှုန်း သက်သာသွားမည်ဖြစ်ပြီး သီးသန့် IPv4 bandwidth ကိုလည်း ကန့်သတ်မထားသောကြောင့် crawl ကြီးကြီးလုပ်လည်း သေးသေးလုပ်သကဲ့သို့ ကုန်ကျစရိတ် တူညီပါသည်။ IP တစ်ခုစီကို သုံးစွဲသူတစ်ဦးတည်းသာ သုံးစွဲခွင့်ရှိသဖြင့် ၎င်း၏ reputation သည် အခြားသူများနှင့် မသက်ဆိုင်ဘဲ သင့်ကိုယ်ပိုင် crawl အပေါ်တွင်သာ မူတည်ပါသည်။ Crawl ပမာဏနှင့် သင့်လျော်သော အသုံးပြုမှုကို စီစဉ်ရန် web scraping လမ်းညွှန် ကို ကြည့်ရှုပါ။
တစ်ဆင့်ချင်းစီ လုပ်ဆောင်ရန်
- 1
Proxy URL များကို ပြင်ဆင်ပါ
သင့် ProxyV4 ၏
ip:port:user:passလိုင်းများကို proxy format converter ဖြင့်http://user:pass@ip:portသို့ ပြောင်းလဲပြီး settings သို့မဟုတ် ဖိုင်တစ်ခုထဲတွင် သိမ်းဆည်းပါ။ - 2
ProxyPoolMiddleware ကို ရေးသားပါ
middlewares.pyတွင်request.meta['proxy'] = random.choice(self.proxies)အဖြစ် သတ်မှတ်ပေးနိုင်ရန်process_request(self, request, spider)ကို ရေးသားအကောင်အထည်ဖော်ပါ။ - 3
၎င်းကို built-in မတိုင်မီ မှတ်ပုံတင်ပါ
settings.pyတွင်'myproject.middlewares.ProxyPoolMiddleware': 740ကိုDOWNLOADER_MIDDLEWARESသို့ ပေါင်းထည့်ပြီးCONCURRENT_REQUESTS_PER_IP = 2ကို သတ်မှတ်ပါ။ - 4
Rotation အလုပ်လုပ်ခြင်းကို အတည်ပြုပါ
scrapy shellသို့မဟုတ် စမ်းသပ် spider အတိုလေးဖြင့်https://proxyv4.com/api/my-ipသို့ အကြိမ်အနည်းငယ် request ပို့ကြည့်ပြီး ဖော်ပြသော IP သည် သင့် pool အလိုက် ပြောင်းလဲမှုရှိမရှိ စစ်ဆေးပါ။
မကြာခဏမေးလေ့ရှိသော မေးခွန်းများ
Priority 800 ရှိ ကျွန်ုပ်၏ proxy middleware သည် 407 error ရနေပါသည်။ အဘယ်ကြောင့်နည်း။
800 တွင် ၎င်းသည် HttpProxyMiddleware (750) ပြီးမှ အလုပ်လုပ်သောကြောင့် သင့် proxy URL ထဲရှိ user:pass သည် Proxy-Authorization header အဖြစ် ဘယ်တော့မှ ပြောင်းလဲခြင်း မရှိပါ။ သင့် middleware ကို 750 အောက်သို့ ရွှေ့ပါ၊ ဥပမာ 740။
Request တစ်ခုတည်းအတွက်သာ proxy သတ်မှတ်နိုင်ပါသလား။
ရရှိပါသည်။ Request တည်ဆောက်ချိန်တွင် meta={'proxy': 'http://user:pass@ip:port'} ကို ထည့်သွင်းပေးလိုက်ပါ၊ built-in middleware သည် အဆိုပါ request တစ်ခုတည်းအတွက်သာ login ကို ကိုင်တွယ်ဆောင်ရွက်ပေးပါမည်။
စာမျက်နှာ သန်းပေါင်းများစွာကို crawl လုပ်ပါက bandwidth ကန့်သတ်ချက် ပြည့်သွားနိုင်ပါသလား။
ProxyV4 ၏ သီးသန့် IPv4 သို့မဟုတ် static ISP proxy များတွင် ပြည့်မည်မဟုတ်ပါ၊ နှစ်မျိုးစလုံးသည် အကန့်အသတ်မဲ့ bandwidth ပါရှိသည်။ လက်တွေ့ကန့်သတ်ချက်မှာ ပစ်မှတ်ဆိုက်က သင့်ကို မည်မျှမြန်မြန် crawl ခွင့်ပြုသည်ဆိုသည့်အချက်သာ ဖြစ်သည်။
ရင်းမြစ်များ
Scrapy crawl များအတွက် အကန့်အသတ်မဲ့ static IP များ
နိုင်ငံပေါင်း 7 နိုင်ငံရှိ သီးသန့် IPv4 နှင့် အမေရိကန်နှင့် ဗီယက်နမ်ရှိ static ISP တို့ကို IP တစ်ခုတည်းမှ pool အကြီးစားအထိ တိုက်ရိုက် အရေအတွက်အလိုက် လျှော့ဈေးနှုန်းများဖြင့် ရရှိနိုင်ပါသည်။
US တိုက်ရိုက်ဈေးနှုန်းများကို စစ်ဆေးပါ