ProxyV4

Scrapy პროქსი: meta['proxy'], middleware-ის რიგითობა და როტაცია

· Updated:

Scrapy-ში პროქსი თითოეული მოთხოვნისთვის განისაზღვრება request.meta['proxy'] = 'http://user:pass@ip:port' პარამეტრით, ხოლო ჩაშენებული HttpProxyMiddleware (რიგითობა 750) ნაწილს user:pass გარდაქმნის Proxy-Authorization ჰედერად. დაამატეთ მარტივი downloader middleware, რომელიც მასზე წინ, 740-ზე გაეშვება, და თქვენი spider-ის თითოეული მოთხოვნა შეძლებს IP-ის არჩევას თქვენი ProxyV4-ის პულიდან.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
პირადი IPv4 (დატაცენტრი)
🇺🇸 ამერიკის შეერთებული შტატები
მარაგშია
დან
1,10 US$ / IP / თვეში
ფასდაკლება რაოდენობაზე
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
შეიძინეთ ამერიკის შეერთებული შტატები
პირადი IPv4 (დატაცენტრი)
🇬🇧 გაერთიანებული სამეფო
მარაგშია
დან
1,10 US$ / IP / თვეში
ფასდაკლება რაოდენობაზე
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
შეიძინეთ გაერთიანებული სამეფო
პროქსი პლატფორმების მიხედვით:Web Scraping & CrawlingSEO & SERP TrackingAmazon

რატომ აქვს მნიშვნელობა middleware-ის ნომერს

გამავალ გზაზე Downloader middleware-ები ზრდადი თანმიმდევრობით ეშვება. HttpProxyMiddleware პრიორიტეტით 750 კითხულობს meta['proxy']-ს, აცილებს ავტორიზაციის მონაცემებს URL-იდან და წერს auth ჰედერს. თუ თქვენი middleware პროქსის მოგვიანებით, მაგალითად 800-ზე გაწერს, ჩაშენებული middleware უკვე გაშვებული იქნება, ავტორიზაციის მონაცემები არ გარდაიქმნება და პროქსი დააბრუნებს 407-ს. თქვენი კომპონენტის 740-ზე რეგისტრაცია მას პირველ ადგილზე აყენებს.

პარამეტრირეკომენდებული მნიშვნელობაშედეგი
request.meta['proxy']'http://user:pass@ip:port'აგზავნის ამ მოთხოვნას მითითებული ProxyV4 პროქსის გავლით
თქვენი middleware-ის რიგითობა740ეშვება HttpProxyMiddleware-მდე (750), ამიტომ ავტორიზაცია კოდირდება
CONCURRENT_REQUESTS_PER_IP2-დან 4-მდეზღუდავს პარალელურ მოთხოვნებს სამიზნე IP-ზე — კორექტული ლიმიტი სერვერის გადატვირთვის თავიდან ასაცილებლად
AUTOTHROTTLE_ENABLEDTrueსაშუალებას აძლევს Scrapy-ს გაზარდოს ან შეამციროს დაყოვნება იმის მიხედვით, თუ რამდენად სწრაფად პასუხობს სამიზნე

როტაციის middleware-ის მოკლე მიმოხილვა

  • წაიკითხეთ პროქსების სია პარამეტრებიდან from_crawler() მეთოდში და შეინახეთ ის middleware-ის ეგზემპლარში
  • მეთოდში process_request(), მიანიჭეთ request.meta['proxy'] = random.choice(self.proxies), თუ მოთხოვნას ის უკვე არ აქვს მინიჭებული
  • როდესაც პასუხი ბრუნდება სტატუსით 429 ან 503, სცადეთ მოთხოვნის ხელახლა გაგზავნა პულიდან სხვა პროქსით, უარყოფილი პროქსის ნაცვლად
  • გააერთიანეთ DOWNLOAD_DELAY = 1.0 და RANDOMIZE_DOWNLOAD_DELAY = True, რათა მოთხოვნებს შორის ინტერვალი იცვლებოდეს და არ მეორდებოდეს მეტრონომივით

პულის მოცულობის განსაზღვრა

Scrapy ქროულინგს შეუძლია წუთში დიდი რაოდენობის მოთხოვნის გაგზავნა, ამიტომ IP-ების რაოდენობა განსაზღვრავს, რამდენად ზომიერად გამოიყენება თითოეული მათგანი. ProxyV4-თან არ არსებობს მინიმალური შეკვეთა, ფასი თითოეულ IP-ზე მცირდება რაოდენობის ზრდასთან ერთად, ხოლო პერსონალური IPv4 ტრაფიკი შეუზღუდავია, ასე რომ დიდი ქროულინგი ტრაფიკის მხრივ იმდენივე ჯდება, რამდენიც მცირე. თითოეულ IP-ს იყენებს მხოლოდ ერთი მომხმარებელი, ამიტომ მისი რეპუტაცია ასახავს მხოლოდ თქვენს ქროულინგს და სხვისას არავის. ქროულინგის მოცულობისა და სიხშირის დასაგეგმად იხილეთ ვებ-სკრეიპინგის გზამკვლევი.

ეტაპობრივი ინსტრუქცია

  1. 1

    მოამზადეთ პროქსის URL-ები

    გადაიყვანეთ თქვენი ProxyV4-ის ip:port:user:pass ხაზები ფორმატში http://user:pass@ip:port პროქსის ფორმატის კონვერტერით და შეინახეთ პარამეტრებში ან ფაილში.

  2. 2

    დაწერეთ ProxyPoolMiddleware

    ფაილში middlewares.py განახორციელეთ process_request(self, request, spider) ისე, რომ მან მიანიჭოს request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    დაარეგისტრირეთ ის ჩაშენებულზე წინ

    ფაილში settings.py დაამატეთ 'myproject.middlewares.ProxyPoolMiddleware': 740 პარამეტრში DOWNLOADER_MIDDLEWARES და მიუთითეთ CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    შეამოწმეთ როტაცია

    გაგზავნეთ მოთხოვნა https://proxyv4.com/api/my-ip-ზე რამდენჯერმე scrapy shell-ით ან მოკლე სატესტო spider-ით და დარწმუნდით, რომ დაფიქსირებული IP იცვლება თქვენი პულის ფარგლებში.

ხშირად დასმული კითხვები

ჩემი proxy middleware პრიორიტეტით 800 იღებს 407 შეცდომას. რატომ?

მნიშვნელობაზე 800 ის ეშვება HttpProxyMiddleware-ის (750) შემდეგ, ამიტომ თქვენს პროქსის URL-ში არსებული user:pass ვერასდროს გარდაიქმნება Proxy-Authorization ჰედერად. გადაიტანეთ თქვენი middleware 750-ზე დაბლა, მაგალითად 740-ზე.

შემიძლია პროქსი მხოლოდ ერთი მოთხოვნისთვის დავაყენო?

დიახ. გადაეცით meta={'proxy': 'http://user:pass@ip:port'} Request-ის შექმნისას; ჩაშენებული middleware ავტორიზაციას მხოლოდ ამ მოთხოვნისთვის დაამუშავებს.

მიაღწევს თუ არა მილიონობით გვერდის ქროულინგი ტრაფიკის ლიმიტს?

არა ProxyV4-ის პერსონალურ IPv4 ან სტატიკურ ISP პროქსებზე; ორივეს შეუზღუდავი ტრაფიკი აქვს. პრაქტიკული ლიმიტია ის, თუ რამდენად სწრაფად გაძლევთ სამიზნე ქროულინგის საშუალებას.

წყაროები

შეუზღუდავი სტატიკური IP-ები Scrapy ქროულინგისთვის

პერსონალური IPv4 7 ქვეყანაში და სტატიკური ISP აშშ-სა და ვიეტნამში, ერთი IP-დან დიდ პულამდე, რეალური ფასდაკლებით მოცულობის მიხედვით.

შეამოწმეთ აშშ-ის ფასები რეალურ დროში

Related articles

პროქსი პლატფორმების მიხედვით
პროქსი ვებ-სკრეიპინგისთვის: IP-ების ფიქსირებული პული ულიმიტო ტრაფიკით
ვებ-სკრეიპინგის პროქსი Python, Scrapy, Playwright და Selenium-ისთვის: პრივატული IPv4 და სტატიკური ISP პული, ულიმიტო ტრაფიკი და ფიქსირებული ფასი თითო IP-ზე.
პროქსის გამართვა
Python requests ავთენტიფიცირებული პროქსით, ეტაპობრივად
გაგზავნეთ Python-ის მოთხოვნები ავტორიზებული HTTP(S) პროქსით: შექმენით proxies dict, მიაბით Session-ს, დააკოდირეთ რთული პაროლები, შეცვალეთ სია და შეამოწმეთ IP.
პროქსის გამართვა
Playwright პროქსის ავტორიზაცია, ერთი სტატიკური IP თითო კონტექსტზე
მიანიჭეთ Playwright-ის თითოეულ კონტექსტს ავტორიზებული HTTP(S) პროქსი Node.js ან Python-ში, მოარგეთ დროის ზონა და ლოკალი IP-ს და შეამოწმეთ გამავალი მისამართი.
უფასო ხელსაწყოები
გადაიყვანეთ პროქსი სია თქვენი ხელსაწყოსთვის საჭირო ფორმატში
დააკონვერტირეთ პროქსის სიები ბრაუზერში ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON მასივებს და FoxyProxy-ის ფაილებს შორის მასობრივად.
პროქსი პლატფორმების მიხედვით
პროქსი SEO პოზიციების თრექინგისთვის: ნახეთ ძიების შედეგები ადგილობრივი მომხმარებლის თვალით
SEO პოზიციების თრექინგის პროქსი პრივატული IPv4-ით აშშ-ში, ბრიტანეთში, ვიეტნამში, იაპონიასა და 4 სხვა ბაზარზე: ნახეთ ის, რასაც ადგილობრივი მომხმარებელი ხედავს.
პროქსი პლატფორმების მიხედვით
Amazon seller პროქსები, რომლებიც თითოეულ ანგარიშს მუდმივ მისამართს ანიჭებს
Amazon seller პროქსი Seller Central, KDP და Merch-ისთვის: აშშ-ის სტატიკური ISP ან UK/იაპონიის პირადი IPv4, მხოლოდ თქვენთვის, უცვლელი განახლებისას.
IPV4 · united states
აშშ-ის პირადი IPv4 პროქსი პული სკრეიპინგისთვის, პოზიციების მონიტორინგისა და რეკლამის შემოწმებისთვის
იყიდეთ აშშ-ის პირადი IPv4 პროქსი: სტატიკური datacenter IP-ები, ერთი კლიენტი IP-ზე, ულიმიტო ტრაფიკი. სკრეიპინგისთვის, SERP-ისა და აშშ-ის რეკლამის შესამოწმებლად.
IPV4 · united kingdom
დიდი ბრიტანეთის პირადი IPv4 პროქსი მარკეტფლეისებისთვის, ძიებისა და კამპანიებისთვის
UK პირადი IPv4 პროქსი ბრიტანული სტატიკური დატაცენტრის IP-ით ერთი პირისთვის: eBay UK და Amazon.co.uk კვლევა, google.co.uk მონიტორინგი და რეკლამის შემოწმება.