ProxyV4
MY ▾
ပရောက်စီများ ဝယ်ယူရန်

Scrapy proxy များ- meta['proxy']၊ middleware အစီအစဉ်နှင့် rotation

· Updated:

Scrapy တွင် proxy တစ်ခုကို request အလိုက် request.meta['proxy'] = 'http://user:pass@ip:port' ဖြင့် သတ်မှတ်ပြီး ပါဝင်ပြီးသား HttpProxyMiddleware (order 750) က user:pass အပိုင်းကို Proxy-Authorization header အဖြစ် ပြောင်းလဲပေးပါသည်။ ၎င်းမတိုင်မီ အလုပ်လုပ်မည့် downloader middleware အသေးစားလေးတစ်ခုကို 740 တွင် ထည့်သွင်းထားပါက သင့် spider မှ ထုတ်ပေးသော request တိုင်းသည် သင့် ProxyV4 pool ထဲမှ IP တစ်ခုကို ရွေးချယ်နိုင်မည် ဖြစ်သည်။

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
သီးသန့် IPv4 (datacenter)
🇺🇸 United States
ပစ္စည်းရှိသည်
မှစ၍
၁.၁၀ US$ / IP / လ
အရေအတွက်အလိုက် လျှော့စျေးများ
  • 1 IP၁.၈၅ US$
  • 3+ IP များ၁.၇၀ US$
  • 10+ IP များ၁.၆၀ US$
  • 25+ IP များ၁.၅၀ US$
  • 50+ IP များ၁.၄၀ US$
  • 100+ IP များ၁.၃၀ US$
  • 200+ IP များ၁.၂၀ US$
  • 500+ IP များ၁.၁၀ US$
United States ဝယ်ယူရန်
သီးသန့် IPv4 (datacenter)
🇬🇧 ယူနိုက်တက်ကင်းဒမ်း
ပစ္စည်းရှိသည်
မှစ၍
၁.၁၀ US$ / IP / လ
အရေအတွက်အလိုက် လျှော့စျေးများ
  • 1 IP၁.၈၅ US$
  • 3+ IP များ၁.၇၀ US$
  • 10+ IP များ၁.၆၀ US$
  • 25+ IP များ၁.၅၀ US$
  • 50+ IP များ၁.၄၀ US$
  • 100+ IP များ၁.၃၀ US$
  • 200+ IP များ၁.၂၀ US$
  • 500+ IP များ၁.၁၀ US$
ယူနိုက်တက်ကင်းဒမ်း ဝယ်ယူရန်
ပလက်ဖောင်းအလိုက် Proxy များ:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Middleware နံပါတ် အဘယ်ကြောင့် အရေးကြီးသနည်း

Downloader middleware များသည် request ထွက်ခွာရာလမ်းကြောင်းတွင် ငယ်စဉ်ကြီးလိုက် အစီအစဉ်အတိုင်း အလုပ်လုပ်ကြသည်။ 750 ရှိ HttpProxyMiddleware သည် meta['proxy'] ကို ဖတ်ရှုပြီး URL မှ အထောက်အထားများကို ဖယ်ထုတ်ကာ auth header ကို ရေးသားပေးပါသည်။ သင့်ကိုယ်ပိုင် middleware က နောက်မှ (ဥပမာ 800 တွင်) proxy ကို သတ်မှတ်ပါက ပါဝင်ပြီးသား middleware က အလုပ်လုပ်ပြီးသွားပြီဖြစ်၍ အထောက်အထားများ ဘယ်တော့မှ ပြောင်းလဲမည်မဟုတ်ဘဲ proxy က 407 ဖြင့် ပြန်လည်တုံ့ပြန်ပါလိမ့်မည်။ သင့် middleware ကို 740 တွင် မှတ်ပုံတင်ခြင်းက ၎င်းကို ရှေ့ဆုံးမှ အလုပ်လုပ်စေပါသည်။

သတ်မှတ်ချက်အကြံပြုထားသော တန်ဖိုးအကျိုးသက်ရောက်မှု
request.meta['proxy']'http://user:pass@ip:port'အဆိုပါ request ကို သတ်မှတ်ထားသော ProxyV4 proxy မှတစ်ဆင့် ပို့ပေးသည်
သင့် middleware အစီအစဉ်740HttpProxyMiddleware (750) မတိုင်မီ အလုပ်လုပ်သောကြောင့် login အချက်အလက်များကို encode လုပ်ပေးသည်
CONCURRENT_REQUESTS_PER_IP2 မှ 4ဦးတည်ရာ IP တစ်ခုစီအတွက် ပြိုင်တူ request များကို ကန့်သတ်ပေးပြီး ဆာဗာတစ်ခုစီကို ဝန်မပိစေရန် ယဉ်ကျေးစွာ ကန့်သတ်ထိန်းညှိပေးသည်
AUTOTHROTTLE_ENABLEDTrueပစ်မှတ်ဆိုက်၏ တုံ့ပြန်မှုအမြန်နှုန်းပေါ် မူတည်၍ Scrapy အား ကြာချိန်များကို တိုးခြင်း သို့မဟုတ် လျှော့ခြင်း ပြုလုပ်စေသည်

Rotation middleware အကျဉ်းချုပ် ဖွဲ့စည်းပုံ

  • from_crawler() တွင် settings ထဲမှ proxy စာရင်းကို ဖတ်ယူပြီး middleware instance ပေါ်တွင် ထိန်းသိမ်းထားပါ
  • process_request() တွင် request ၌ proxy မပါရှိသေးပါက request.meta['proxy'] = random.choice(self.proxies) ကို သတ်မှတ်ပေးပါ
  • တုံ့ပြန်မှုတစ်ခုသည် 429 သို့မဟုတ် 503 ပြန်လာပါက ငြင်းပယ်ခံရသော proxy အစား pool ထဲမှ အခြား proxy တစ်ခုဖြင့် ပြန်လည်ကြိုးစားပါ
  • Request များကြား အချိန်ခြားနားချက်သည် နာရီလက်တံကဲ့သို့ တသမတ်တည်း မဖြစ်စေဘဲ ကွဲပြားစေရန် DOWNLOAD_DELAY = 1.0 နှင့် RANDOMIZE_DOWNLOAD_DELAY = True ကို ပေါင်းစပ်အသုံးပြုပါ

Pool ပမာဏ သတ်မှတ်ခြင်း

Scrapy crawl တစ်ခုသည် တစ်မိနစ်လျှင် request အမြောက်အမြား ပို့လွှတ်နိုင်သောကြောင့် IP အရေအတွက်သည် တစ်ခုချင်းစီကို မည်မျှညင်သာစွာ အသုံးပြုမည်ကို ဆုံးဖြတ်ပေးပါသည်။ ProxyV4 တွင် အနည်းဆုံးမှာယူရမည့် ကန့်သတ်ချက်မရှိဘဲ အရေအတွက်များလာသည်နှင့်အမျှ IP တစ်ခုချင်းစီ၏ ဈေးနှုန်း သက်သာသွားမည်ဖြစ်ပြီး သီးသန့် IPv4 bandwidth ကိုလည်း ကန့်သတ်မထားသောကြောင့် crawl ကြီးကြီးလုပ်လည်း သေးသေးလုပ်သကဲ့သို့ ကုန်ကျစရိတ် တူညီပါသည်။ IP တစ်ခုစီကို သုံးစွဲသူတစ်ဦးတည်းသာ သုံးစွဲခွင့်ရှိသဖြင့် ၎င်း၏ reputation သည် အခြားသူများနှင့် မသက်ဆိုင်ဘဲ သင့်ကိုယ်ပိုင် crawl အပေါ်တွင်သာ မူတည်ပါသည်။ Crawl ပမာဏနှင့် သင့်လျော်သော အသုံးပြုမှုကို စီစဉ်ရန် web scraping လမ်းညွှန် ကို ကြည့်ရှုပါ။

တစ်ဆင့်ချင်းစီ လုပ်ဆောင်ရန်

  1. 1

    Proxy URL များကို ပြင်ဆင်ပါ

    သင့် ProxyV4 ၏ ip:port:user:pass လိုင်းများကို proxy format converter ဖြင့် http://user:pass@ip:port သို့ ပြောင်းလဲပြီး settings သို့မဟုတ် ဖိုင်တစ်ခုထဲတွင် သိမ်းဆည်းပါ။

  2. 2

    ProxyPoolMiddleware ကို ရေးသားပါ

    middlewares.py တွင် request.meta['proxy'] = random.choice(self.proxies) အဖြစ် သတ်မှတ်ပေးနိုင်ရန် process_request(self, request, spider) ကို ရေးသားအကောင်အထည်ဖော်ပါ။

  3. 3

    ၎င်းကို built-in မတိုင်မီ မှတ်ပုံတင်ပါ

    settings.py တွင် 'myproject.middlewares.ProxyPoolMiddleware': 740 ကို DOWNLOADER_MIDDLEWARES သို့ ပေါင်းထည့်ပြီး CONCURRENT_REQUESTS_PER_IP = 2 ကို သတ်မှတ်ပါ။

  4. 4

    Rotation အလုပ်လုပ်ခြင်းကို အတည်ပြုပါ

    scrapy shell သို့မဟုတ် စမ်းသပ် spider အတိုလေးဖြင့် https://proxyv4.com/api/my-ip သို့ အကြိမ်အနည်းငယ် request ပို့ကြည့်ပြီး ဖော်ပြသော IP သည် သင့် pool အလိုက် ပြောင်းလဲမှုရှိမရှိ စစ်ဆေးပါ။

မကြာခဏမေးလေ့ရှိသော မေးခွန်းများ

Priority 800 ရှိ ကျွန်ုပ်၏ proxy middleware သည် 407 error ရနေပါသည်။ အဘယ်ကြောင့်နည်း။

800 တွင် ၎င်းသည် HttpProxyMiddleware (750) ပြီးမှ အလုပ်လုပ်သောကြောင့် သင့် proxy URL ထဲရှိ user:pass သည် Proxy-Authorization header အဖြစ် ဘယ်တော့မှ ပြောင်းလဲခြင်း မရှိပါ။ သင့် middleware ကို 750 အောက်သို့ ရွှေ့ပါ၊ ဥပမာ 740။

Request တစ်ခုတည်းအတွက်သာ proxy သတ်မှတ်နိုင်ပါသလား။

ရရှိပါသည်။ Request တည်ဆောက်ချိန်တွင် meta={'proxy': 'http://user:pass@ip:port'} ကို ထည့်သွင်းပေးလိုက်ပါ၊ built-in middleware သည် အဆိုပါ request တစ်ခုတည်းအတွက်သာ login ကို ကိုင်တွယ်ဆောင်ရွက်ပေးပါမည်။

စာမျက်နှာ သန်းပေါင်းများစွာကို crawl လုပ်ပါက bandwidth ကန့်သတ်ချက် ပြည့်သွားနိုင်ပါသလား။

ProxyV4 ၏ သီးသန့် IPv4 သို့မဟုတ် static ISP proxy များတွင် ပြည့်မည်မဟုတ်ပါ၊ နှစ်မျိုးစလုံးသည် အကန့်အသတ်မဲ့ bandwidth ပါရှိသည်။ လက်တွေ့ကန့်သတ်ချက်မှာ ပစ်မှတ်ဆိုက်က သင့်ကို မည်မျှမြန်မြန် crawl ခွင့်ပြုသည်ဆိုသည့်အချက်သာ ဖြစ်သည်။

ရင်းမြစ်များ

Scrapy crawl များအတွက် အကန့်အသတ်မဲ့ static IP များ

နိုင်ငံပေါင်း 7 နိုင်ငံရှိ သီးသန့် IPv4 နှင့် အမေရိကန်နှင့် ဗီယက်နမ်ရှိ static ISP တို့ကို IP တစ်ခုတည်းမှ pool အကြီးစားအထိ တိုက်ရိုက် အရေအတွက်အလိုက် လျှော့ဈေးနှုန်းများဖြင့် ရရှိနိုင်ပါသည်။

US တိုက်ရိုက်ဈေးနှုန်းများကို စစ်ဆေးပါ

Related articles

ပလက်ဖောင်းအလိုက် Proxy များ
Web scraping အတွက် ပရောက်စီများ- အကန့်အသတ်မဲ့ traffic ပါဝင်သော ပုံသေ IP အစု
Python, Scrapy, Playwright, Selenium အတွက် Web scraping proxy- သီးသန့် IPv4 နှင့် static ISP pool၊ အကန့်အသတ်မဲ့ bandwidth၊ IP အလိုက် ပုံသေနှုန်းထား။
Proxy စနစ်ထည့်သွင်းခြင်း
အထောက်အထားစိစစ်ထားသော ပရောက်စီမှတစ်ဆင့် Python requests အသုံးပြုနည်း အဆင့်ဆင့်
အထောက်အထားစိစစ်ထားသော HTTP(S) ပရောက်စီမှ Python requests ပို့ပါ- proxies dict တည်ဆောက်ခြင်း၊ Session တွဲခြင်း၊ password encode လုပ်ခြင်း၊ list လှည့်ခြင်းနှင့် IP စစ်ခြင်း။
Proxy စနစ်ထည့်သွင်းခြင်း
Playwright ပရောက်စီ အထောက်အထားစိစစ်ခြင်း၊ context တစ်ခုစီအတွက် static IP တစ်ခု
Node.js သို့ Python ရှိ Playwright context တိုင်းအတွက် auth သုံး HTTP(S) proxy ထည့်သွင်းပြီး timezone၊ locale ကို IP နှင့်ညှိကာ exit address အတည်ပြုပါ။
အခမဲ့ ကိရိယာများ
သင့်တူးလ်က လိုအပ်သော ဖောမတ်သို့ proxy စာရင်းကို ပြောင်းလဲပါ
ဘရောက်ဆာထဲတွင် ip:port:user:pass၊ user:pass@ip:port၊ http:// URL၊ SOCKS5 URI၊ JSON array၊ FoxyProxy ဖိုင်များကြား proxy စာရင်းများကို အများအပြား ပြောင်းပါ။
ပလက်ဖောင်းအလိုက် Proxy များ
SEO rank tracking အတွက် Proxies - ဒေသတွင်းရှာဖွေသူများ မြင်တွေ့ရသည့် ရလဒ်စာမျက်နှာကို ကြည့်ရှုပါ
US၊ UK၊ Vietnam၊ Japan အပါအဝင် ဈေးကွက် ၈ ခုအတွက် private IPv4 သုံး SEO rank tracking proxy များဖြစ်ပြီး ဒေသခံများ မြင်ရသည့် ranking နှင့် ad များကို စစ်ဆေးပါ။
ပလက်ဖောင်းအလိုက် Proxy များ
အကောင့်တစ်ခုစီအတွက် အမြဲတမ်းလိပ်စာပေးသည့် Amazon seller ပရောက်စီများ
Amazon seller proxy: Seller Central, KDP, Merch အတွက် US static ISP သို့မဟုတ် UK/Japan private IPv4 ဖြစ်ပြီး သင်တစ်ဦးတည်းသုံး၍ သက်တမ်းတိုးပါက ဆက်ထိန်းနိုင်သည်။
IPV4 · united states
Scraping ပြုလုပ်ခြင်း၊ အဆင့်စောင့်ကြည့်ခြင်းနှင့် ကြော်ငြာစစ်ဆေးခြင်းများအတွက် US သီးသန့် IPv4 Proxy Pool
US private IPv4 proxies ဝယ်ယူပါ- အမေရိကန် static datacenter IP၊ IP တစ်ခု လူတစ်ဦး၊ bandwidth အကန့်အသတ်မဲ့။ Scraping၊ SERP tracking နှင့် US ad စစ်ဆေးရန်။
IPV4 · united kingdom
ဈေးရောင်းပလက်ဖောင်းများ၊ ရှာဖွေမှုများနှင့် ကမ်ပိန်းများအတွက် UK သီးသန့် IPv4 Proxy
eBay UK၊ Amazon.co.uk စျေးကွက်ရှာဖွေမှု၊ google.co.uk နှင့် UK ကြော်ငြာစစ်ဆေးရန် သုံးစွဲသူတစ်ဦးတည်းသုံး ဗြိတိန် static datacenter IP ပါ UK သီးသန့် IPv4 proxy။