ProxyV4

ប្រូកស៊ី Scrapy៖ meta['proxy'] លំដាប់ middleware និងការបង្វិល IP

· Updated:

នៅក្នុង Scrapy ប្រូកស៊ីត្រូវបានកំណត់សម្រាប់ request នីមួយៗតាមរយៈ request.meta['proxy'] = 'http://user:pass@ip:port' ហើយ HttpProxyMiddleware ភ្ជាប់ស្រាប់ (លំដាប់ 750) នឹងបំប្លែងផ្នែក user:pass ទៅជា header Proxy-Authorization។ បន្ថែម downloader middleware តូចមួយដែលដំណើរការមុនវា នៅលំដាប់ 740 នោះគ្រប់ request ដែល spider របស់អ្នកបង្កើត អាចជ្រើសរើស IP មួយពី pool ProxyV4 របស់អ្នកបាន។

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Private IPv4 (datacenter)
🇺🇸 សហរដ្ឋអាមេរិក
មានក្នុងស្តុក
ចាប់ពី
1.10$ / IP / ខែ
ការបញ្ចុះតម្លៃតាមបរិមាណ
  • 1 IP1.85$
  • 3+ IP1.70$
  • 10+ IP1.60$
  • 25+ IP1.50$
  • 50+ IP1.40$
  • 100+ IP1.30$
  • 200+ IP1.20$
  • 500+ IP1.10$
ទិញនៅ សហរដ្ឋអាមេរិក
Private IPv4 (datacenter)
🇬🇧 United Kingdom
មានក្នុងស្តុក
ចាប់ពី
1.10$ / IP / ខែ
ការបញ្ចុះតម្លៃតាមបរិមាណ
  • 1 IP1.85$
  • 3+ IP1.70$
  • 10+ IP1.60$
  • 25+ IP1.50$
  • 50+ IP1.40$
  • 100+ IP1.30$
  • 200+ IP1.20$
  • 500+ IP1.10$
ទិញនៅ United Kingdom
Proxy តាមវេទិកា:Web Scraping & CrawlingSEO & SERP TrackingAmazon

មូលហេតុដែលលេខលំដាប់ middleware មានសារៈសំខាន់

Downloader middleware ដំណើរការតាមលំដាប់ឡើងនៅពេលបញ្ជូនចេញ។ HttpProxyMiddleware នៅលំដាប់ 750 អាន meta['proxy'] ដកព័ត៌មានសម្ងាត់ចេញពី URL ហើយសរសេរ auth header។ ប្រសិនបើ middleware ផ្ទាល់ខ្លួនរបស់អ្នកកំណត់ប្រូកស៊ីនៅពេលក្រោយ ឧទាហរណ៍នៅ 800 នោះ middleware ភ្ជាប់ស្រាប់បានដំណើរការរួចហើយ ព័ត៌មានសម្ងាត់មិនត្រូវបានបំប្លែងឡើយ ហើយប្រូកស៊ីនឹងឆ្លើយតប 407។ ការចុះឈ្មោះ middleware របស់អ្នកនៅ 740 នឹងដាក់វាឱ្យដំណើរការមុនគេ។

ការកំណត់តម្លៃណែនាំប្រសិទ្ធភាព
request.meta['proxy']'http://user:pass@ip:port'បញ្ជូន request នោះតាមរយៈប្រូកស៊ី ProxyV4 ដែលបានកំណត់
លំដាប់ middleware របស់អ្នក740ដំណើរការមុន HttpProxyMiddleware (750) ដូច្នេះព័ត៌មាន login ត្រូវបាន encode
CONCURRENT_REQUESTS_PER_IP2 ទៅ 4កំណត់ចំនួន request ស្របគ្នាសម្រាប់ IP គោលដៅនីមួយៗ ជាកម្រិតសមរម្យដើម្បីកុំឱ្យប៉ះពាល់ខ្លាំងដល់ server នីមួយៗ
AUTOTHROTTLE_ENABLEDTrueអនុញ្ញាតឱ្យ Scrapy ពន្យារ ឬកាត់បន្ថយរយៈពេលពន្យារផ្អែកលើល្បឿនឆ្លើយតបរបស់គោលដៅ

ទិដ្ឋភាពទូទៅនៃ rotation middleware

  • អានបញ្ជីប្រូកស៊ីពី settings នៅក្នុង from_crawler() ហើយរក្សាទុកវានៅលើ middleware instance
  • នៅក្នុង process_request() កំណត់ request.meta['proxy'] = random.choice(self.proxies) លើកលែងតែ request នោះមានប្រូកស៊ីរួចហើយ
  • នៅពេលការឆ្លើយតបត្រឡប់មកវិញជា 429 ឬ 503 សូមព្យាយាមម្តងទៀតជាមួយប្រូកស៊ីផ្សេងទៀតពី pool ជំនួសឱ្យប្រូកស៊ីដែលទើបតែត្រូវបានបដិសេធ
  • រួមបញ្ចូល DOWNLOAD_DELAY = 1.0 ជាមួយ RANDOMIZE_DOWNLOAD_DELAY = True ដើម្បីឱ្យចន្លោះពេលរវាង request ផ្លាស់ប្តូរខុសៗគ្នា ជាជាងដើរទៀងទាត់ដូចនាឡិកា

ការកំណត់ទំហំ pool

ការ crawl របស់ Scrapy អាចបញ្ជូន request ច្រើនក្នុងមួយនាទី ដូច្នេះចំនួន IP កំណត់ពីកម្រិតបន្ទុកស្រាលលើ IP នីមួយៗ។ ជាមួយ ProxyV4 គឺមិនមានការបញ្ជាទិញអប្បបរមាទេ ហើយតម្លៃក្នុងមួយ IP នឹងធ្លាក់ចុះនៅពេលបរិមាណកើនឡើង ព្រមទាំង traffic របស់ IPv4 ឯកជនមិនត្រូវបានកំណត់កម្រិតឡើយ ដូច្នេះការ crawl ទំហំធំចំណាយលើ bandwidth ស្មើនឹងការ crawl ទំហំតូចដែរ។ IP នីមួយៗត្រូវបានប្រើប្រាស់ដោយអតិថិជនតែម្នាក់គត់ ដូច្នេះកេរ្តិ៍ឈ្មោះរបស់វាឆ្លុះបញ្ចាំងពីការ crawl ផ្ទាល់ខ្លួនរបស់អ្នក មិនពាក់ព័ន្ធអ្នកណាឡើយ។ សម្រាប់ការរៀបចំគម្រោងបរិមាណ crawl និងភាពសមរម្យ សូមមើល web scraping guide។

មួយជំហានម្តងៗ

  1. 1

    រៀបចំ URL ប្រូកស៊ី

    បំប្លែងបន្ទាត់ ip:port:user:pass នៃ ProxyV4 របស់អ្នកទៅជា http://user:pass@ip:port ជាមួយ proxy format converter ហើយរក្សាទុកពួកវាក្នុង settings ឬ file។

  2. 2

    សរសេរ ProxyPoolMiddleware

    នៅក្នុង middlewares.py សូមអនុវត្ត process_request(self, request, spider) ដើម្បីឱ្យវាកំណត់ request.meta['proxy'] = random.choice(self.proxies)។

  3. 3

    ចុះឈ្មោះវាមុន middleware ភ្ជាប់ស្រាប់

    នៅក្នុង settings.py សូមបន្ថែម 'myproject.middlewares.ProxyPoolMiddleware': 740 ទៅកាន់ DOWNLOADER_MIDDLEWARES ហើយកំណត់ CONCURRENT_REQUESTS_PER_IP = 2។

  4. 4

    ផ្ទៀងផ្ទាត់ការបង្វិល IP

    ទាញយក https://proxyv4.com/api/my-ip ពីរបីដងដោយប្រើ scrapy shell ឬ spider សាកល្បងខ្លីមួយ ហើយពិនិត្យមើលថា IP ដែលបង្ហាញមានការផ្លាស់ប្តូរនៅក្នុង pool របស់អ្នក។

សំណួរដែលសួរញឹកញាប់

Proxy middleware របស់ខ្ញុំនៅ priority 800 ជួបកំហុស 407។ មកពីអ្វី?

នៅ 800 វាដំណើរការក្រោយ HttpProxyMiddleware (750) ដូច្នេះ user:pass នៅក្នុង URL ប្រូកស៊ីរបស់អ្នកមិនត្រូវបានបំប្លែងទៅជា header Proxy-Authorization ឡើយ។ សូមប្តូរ middleware របស់អ្នកឱ្យនៅក្រោម 750 ឧទាហរណ៍ 740។

តើខ្ញុំអាចកំណត់ប្រូកស៊ីសម្រាប់តែ request មួយបានទេ?

បាន។ គ្រាន់តែបញ្ជូន meta={'proxy': 'http://user:pass@ip:port'} នៅពេលអ្នកបង្កើត Request ហើយ middleware ភ្ជាប់ស្រាប់នឹងរៀបចំការ login សម្រាប់តែ request នោះប៉ុណ្ណោះ។

តើការ crawl រាប់លានទំព័រនឹងប៉ះកម្រិតកំណត់ bandwidth ដែរឬទេ?

មិនប៉ះពាល់ទេនៅលើប្រូកស៊ី IPv4 ឯកជន ឬ static ISP របស់ ProxyV4 ព្រោះទាំងពីរមាន bandwidth មិនកំណត់។ កម្រិតជាក់ស្តែងគឺអាស្រ័យលើថាតើគោលដៅអនុញ្ញាតឱ្យអ្នក crawl លឿនកម្រិតណា។

ប្រភព

IP ថេរ bandwidth មិនកំណត់សម្រាប់ការ crawl ជាមួយ Scrapy

IPv4 ឯកជនក្នុង 7 ប្រទេស រួមជាមួយ static ISP នៅ US និងវៀតណាម ចាប់ពី IP មួយរហូតដល់ pool ធំ ជាមួយតម្លៃជាក់ស្តែងតាមបរិមាណ។

ពិនិត្យតម្លៃ US ផ្ទាល់

Related articles

Proxy តាមវេទិកា
Proxy សម្រាប់ Web scraping៖ អាង IP ថេរជាមួយទិន្នន័យចរាចរណ៍គ្មានកំណត់
Proxy សម្រាប់ Web scraping លើ Python, Scrapy, Playwright និង Selenium៖ អាងអាសយដ្ឋាន IPv4 ឯកជន និង ISP ថេរ កម្រិតបញ្ជូនគ្មានដែនកំណត់ តម្លៃថេរគិតតាម IP។
ការដំឡើង Proxy
ប្រើប្រាស់ Python requests តាមប្រូកស៊ីមានផ្ទៀងផ្ទាត់ មួយជំហានម្តងៗ
ផ្ញើសំណើ Python តាមរយៈ HTTP(S) proxy ដែលមានការផ្ទៀងផ្ទាត់៖ បង្កើត proxies dict ភ្ជាប់ទៅកាន់ Session អ៊ិនកូដពាក្យសម្ងាត់ពិសេស បង្វិលបញ្ជី និងផ្ទៀងផ្ទាត់ IP។
ការដំឡើង Proxy
ការផ្ទៀងផ្ទាត់ Playwright proxy ជាមួយ IP ថេរមួយក្នុងមួយ context
កំណត់ proxy HTTP(S) ផ្ទៀងផ្ទាត់ផ្ទាល់ខ្លួនសម្រាប់ context នីមួយៗក្នុង Playwright ជាមួយ Node.js ឬ Python ផ្គូផ្គងតំបន់ម៉ោង និងផ្ទៀងផ្ទាត់ IP ចេញក្រៅ។
ឧបករណ៍ឥតគិតថ្លៃ
បំប្លែងបញ្ជីប្រុកស៊ីទៅជាទម្រង់ដែលឧបករណ៍របស់អ្នកត្រូវការ
បំប្លែងបញ្ជីប្រុកស៊ីជាដុំក្នុងកម្មវិធីរុករករបស់អ្នករវាង ip:port:user:pass, user:pass@ip:port, http:// URLs, SOCKS5 URIs, JSON arrays និងឯកសារនាំចូល FoxyProxy។
Proxy តាមវេទិកា
Proxy សម្រាប់តាមដានចំណាត់ថ្នាក់ SEO៖ មើលទំព័រលទ្ធផលដូចអ្នកស្វែងរកក្នុងស្រុកឃើញ
Proxy តាមដាន SEO ជាមួយ IPv4 ឯកជននៅ US, UK, វៀតណាម, ជប៉ុន និង 4 ទីផ្សារទៀត ដើម្បីឱ្យចំណាត់ថ្នាក់ local pack និងការផ្សាយពាណិជ្ជកម្មត្រូវគ្នានឹងអ្នកក្នុងស្រុក។
Proxy តាមវេទិកា
Proxy សម្រាប់ Amazon seller ដែលផ្ដល់អាសយដ្ឋានអចិន្ត្រៃយ៍ដល់គណនីនីមួយៗ
Proxy សម្រាប់ Amazon seller លើ Seller Central, KDP និង Merch៖ ISP ថេរអាមេរិក ឬ IPv4 ឯកជនចក្រភពអង់គ្លេស/ជប៉ុនក្នុងមួយគណនី ជួលផ្ដាច់មុខ និងរក្សាទុកពេលបន្តសុពលភាព។
IPV4 · united states
បណ្តុំ Proxy IPv4 ឯកជនអាមេរិក សម្រាប់ការទាញយកទិន្នន័យ តាមដានចំណាត់ថ្នាក់ និងត្រួតពិនិត្យការផ្សាយពាណិជ្ជកម្ម
ទិញ US private IPv4 proxy៖ IP datacenter អាមេរិក static មួយ IP សម្រាប់ម្នាក់ bandwidth មិនកំណត់។ បង្កើតឡើងសម្រាប់ scraping, តាមដាន SERP និងពិនិត្យ ad នៅ US។
IPV4 · united kingdom
Proxy IPv4 ឯកជនចក្រភពអង់គ្លេស សម្រាប់ទីផ្សារអនឡាញ ការស្វែងរក និងយុទ្ធនាការ
Proxy IPv4 ឯកជន UK ជាមួយ IP datacenter អង់គ្លេសថេរ ជួលជូនម្នាក់ សម្រាប់ស្រាវជ្រាវ eBay UK និង Amazon.co.uk តាមដាន google.co.uk ព្រមទាំងពិនិត្យ ad នៅ UK។