Scrapy პროქსი: meta['proxy'], middleware-ის რიგითობა და როტაცია
ProxyV4-ის საინჟინრო გუნდისგან · Updated:
Scrapy-ში პროქსი თითოეული მოთხოვნისთვის განისაზღვრება request.meta['proxy'] = 'http://user:pass@ip:port' პარამეტრით, ხოლო ჩაშენებული HttpProxyMiddleware (რიგითობა 750) ნაწილს user:pass გარდაქმნის Proxy-Authorization ჰედერად. დაამატეთ მარტივი downloader middleware, რომელიც მასზე წინ, 740-ზე გაეშვება, და თქვენი spider-ის თითოეული მოთხოვნა შეძლებს IP-ის არჩევას თქვენი ProxyV4-ის პულიდან.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
რატომ აქვს მნიშვნელობა middleware-ის ნომერს
გამავალ გზაზე Downloader middleware-ები ზრდადი თანმიმდევრობით ეშვება. HttpProxyMiddleware პრიორიტეტით 750 კითხულობს meta['proxy']-ს, აცილებს ავტორიზაციის მონაცემებს URL-იდან და წერს auth ჰედერს. თუ თქვენი middleware პროქსის მოგვიანებით, მაგალითად 800-ზე გაწერს, ჩაშენებული middleware უკვე გაშვებული იქნება, ავტორიზაციის მონაცემები არ გარდაიქმნება და პროქსი დააბრუნებს 407-ს. თქვენი კომპონენტის 740-ზე რეგისტრაცია მას პირველ ადგილზე აყენებს.
| პარამეტრი | რეკომენდებული მნიშვნელობა | შედეგი |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | აგზავნის ამ მოთხოვნას მითითებული ProxyV4 პროქსის გავლით |
| თქვენი middleware-ის რიგითობა | 740 | ეშვება HttpProxyMiddleware-მდე (750), ამიტომ ავტორიზაცია კოდირდება |
CONCURRENT_REQUESTS_PER_IP | 2-დან 4-მდე | ზღუდავს პარალელურ მოთხოვნებს სამიზნე IP-ზე — კორექტული ლიმიტი სერვერის გადატვირთვის თავიდან ასაცილებლად |
AUTOTHROTTLE_ENABLED | True | საშუალებას აძლევს Scrapy-ს გაზარდოს ან შეამციროს დაყოვნება იმის მიხედვით, თუ რამდენად სწრაფად პასუხობს სამიზნე |
როტაციის middleware-ის მოკლე მიმოხილვა
- წაიკითხეთ პროქსების სია პარამეტრებიდან
from_crawler()მეთოდში და შეინახეთ ის middleware-ის ეგზემპლარში - მეთოდში
process_request(), მიანიჭეთrequest.meta['proxy'] = random.choice(self.proxies), თუ მოთხოვნას ის უკვე არ აქვს მინიჭებული - როდესაც პასუხი ბრუნდება სტატუსით
429ან503, სცადეთ მოთხოვნის ხელახლა გაგზავნა პულიდან სხვა პროქსით, უარყოფილი პროქსის ნაცვლად - გააერთიანეთ
DOWNLOAD_DELAY = 1.0დაRANDOMIZE_DOWNLOAD_DELAY = True, რათა მოთხოვნებს შორის ინტერვალი იცვლებოდეს და არ მეორდებოდეს მეტრონომივით
პულის მოცულობის განსაზღვრა
Scrapy ქროულინგს შეუძლია წუთში დიდი რაოდენობის მოთხოვნის გაგზავნა, ამიტომ IP-ების რაოდენობა განსაზღვრავს, რამდენად ზომიერად გამოიყენება თითოეული მათგანი. ProxyV4-თან არ არსებობს მინიმალური შეკვეთა, ფასი თითოეულ IP-ზე მცირდება რაოდენობის ზრდასთან ერთად, ხოლო პერსონალური IPv4 ტრაფიკი შეუზღუდავია, ასე რომ დიდი ქროულინგი ტრაფიკის მხრივ იმდენივე ჯდება, რამდენიც მცირე. თითოეულ IP-ს იყენებს მხოლოდ ერთი მომხმარებელი, ამიტომ მისი რეპუტაცია ასახავს მხოლოდ თქვენს ქროულინგს და სხვისას არავის. ქროულინგის მოცულობისა და სიხშირის დასაგეგმად იხილეთ ვებ-სკრეიპინგის გზამკვლევი.
ეტაპობრივი ინსტრუქცია
- 1
მოამზადეთ პროქსის URL-ები
გადაიყვანეთ თქვენი ProxyV4-ის
ip:port:user:passხაზები ფორმატშიhttp://user:pass@ip:portპროქსის ფორმატის კონვერტერით და შეინახეთ პარამეტრებში ან ფაილში. - 2
დაწერეთ ProxyPoolMiddleware
ფაილში
middlewares.pyგანახორციელეთprocess_request(self, request, spider)ისე, რომ მან მიანიჭოსrequest.meta['proxy'] = random.choice(self.proxies). - 3
დაარეგისტრირეთ ის ჩაშენებულზე წინ
ფაილში
settings.pyდაამატეთ'myproject.middlewares.ProxyPoolMiddleware': 740პარამეტრშიDOWNLOADER_MIDDLEWARESდა მიუთითეთCONCURRENT_REQUESTS_PER_IP = 2. - 4
შეამოწმეთ როტაცია
გაგზავნეთ მოთხოვნა
https://proxyv4.com/api/my-ip-ზე რამდენჯერმეscrapy shell-ით ან მოკლე სატესტო spider-ით და დარწმუნდით, რომ დაფიქსირებული IP იცვლება თქვენი პულის ფარგლებში.
ხშირად დასმული კითხვები
ჩემი proxy middleware პრიორიტეტით 800 იღებს 407 შეცდომას. რატომ?
მნიშვნელობაზე 800 ის ეშვება HttpProxyMiddleware-ის (750) შემდეგ, ამიტომ თქვენს პროქსის URL-ში არსებული user:pass ვერასდროს გარდაიქმნება Proxy-Authorization ჰედერად. გადაიტანეთ თქვენი middleware 750-ზე დაბლა, მაგალითად 740-ზე.
შემიძლია პროქსი მხოლოდ ერთი მოთხოვნისთვის დავაყენო?
დიახ. გადაეცით meta={'proxy': 'http://user:pass@ip:port'} Request-ის შექმნისას; ჩაშენებული middleware ავტორიზაციას მხოლოდ ამ მოთხოვნისთვის დაამუშავებს.
მიაღწევს თუ არა მილიონობით გვერდის ქროულინგი ტრაფიკის ლიმიტს?
არა ProxyV4-ის პერსონალურ IPv4 ან სტატიკურ ISP პროქსებზე; ორივეს შეუზღუდავი ტრაფიკი აქვს. პრაქტიკული ლიმიტია ის, თუ რამდენად სწრაფად გაძლევთ სამიზნე ქროულინგის საშუალებას.
წყაროები
შეუზღუდავი სტატიკური IP-ები Scrapy ქროულინგისთვის
პერსონალური IPv4 7 ქვეყანაში და სტატიკური ISP აშშ-სა და ვიეტნამში, ერთი IP-დან დიდ პულამდე, რეალური ფასდაკლებით მოცულობის მიხედვით.
შეამოწმეთ აშშ-ის ფასები რეალურ დროში