Scrapy պրոքսիներ. meta['proxy'], middleware-ի կարգ և ռոտացիա
ProxyV4-ի ինժեներական թիմի կողմից · Updated:
Scrapy-ում պրոքսին յուրաքանչյուր հարցման համար սահմանվում է request.meta['proxy'] = 'http://user:pass@ip:port' միջոցով, իսկ ներկառուցված HttpProxyMiddleware-ը (հերթական համարը՝ 750) փոխակերպում է user:pass մասը Proxy-Authorization վերնագրի: Ավելացրեք փոքր downloader middleware, որն աշխատում է դրանից առաջ՝ 740 համարով, և ձեր spider-ի յուրաքանչյուր հարցում կկարողանա ընտրել IP ձեր ProxyV4 փուլից:
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
Ինչու է կարևոր middleware-ի համարը
Downloader middleware-ներն աշխատում են աճման կարգով ելքային ճանապարհին: HttpProxyMiddleware-ը 750 համարով կարդում է meta['proxy']-ն, հեռացնում է մուտքային տվյալները URL-ից և գրում auth վերնագիրը: Եթե ձեր սեփական middleware-ը պրոքսին սահմանում է դրանից հետո, օրինակ՝ 800-ում, ապա ներկառուցվածն արդեն աշխատել է, տվյալները երբեք չեն փոխակերպվում, և պրոքսին պատասխանում է 407: Ձերը 740 համարով գրանցելը այն դնում է առաջին տեղում:
| Կարգավորում | Առաջարկվող արժեք | Ազդեցություն |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Ուղարկում է տվյալ հարցումը նշված ProxyV4 պրոքսիով |
| Ձեր middleware-ի կարգը | 740 | Աշխատում է HttpProxyMiddleware (750)-ից առաջ, որպեսզի մուտքանունն ու գաղտնաբառը կոդավորվեն |
CONCURRENT_REQUESTS_PER_IP | 2-ից 4 | Սահմանափակում է զուգահեռ հարցումները յուրաքանչյուր նպատակակետ IP-ի համար՝ նվազեցնելով սերվերի ծանրաբեռնվածությունը |
AUTOTHROTTLE_ENABLED | True | Թույլ է տալիս Scrapy-ին կարգավորել դադարների տևողությունը՝ ելնելով նպատակային սերվերի արձագանքման արագությունից |
Ռոտացիայի middleware-ի համառոտ նկարագիրը
- Կարդացեք պրոքսիների ցանկը կարգավորումներից
from_crawler()-ում և պահեք այն middleware-ի instance-ի վրա process_request()-ում նշանակեքrequest.meta['proxy'] = random.choice(self.proxies), եթե հարցումն արդեն չունի սահմանված պրոքսի- Երբ պատասխանը վերադառնում է
429կամ503, կրկնեք հարցումը փուլի մեկ այլ պրոքսիով՝ մերժվածի փոխարեն - Համատեղեք
DOWNLOAD_DELAY = 1.0-ըRANDOMIZE_DOWNLOAD_DELAY = True-ի հետ, որպեսզի հարցումների միջև ընդմիջումները լինեն փոփոխական, ոչ թե ֆիքսված մետրոնոմի պես
Փուլի ծավալի որոշումը
Scrapy-ի crawl-ը կարող է րոպեում բազմաթիվ հարցումներ ուղարկել, ուստի IP-ների քանակը որոշում է, թե որքան խնայողաբար է օգտագործվում յուրաքանչյուրը: ProxyV4-ի հետ չկա պատվերի նվազագույն քանակ, իսկ մեկ IP-ի գինը նվազում է քանակի ավելացմանը զուգընթաց: Բացի այդ, private IPv4 տրաֆիկը չի սահմանափակվում, այնպես որ մեծ ծավալի crawl-ը թողունակության առումով արժենում է նույնքան, որքան փոքրը: Յուրաքանչյուր IP օգտագործվում է միայն մեկ հաճախորդի կողմից, ուստի դրա հեղինակությունն արտացոլում է բացառապես ձեր crawl-ը: Ծավալների և հարցումների հաճախականության պլանավորման համար տես web scraping-ի ուղեցույցը:
Քայլ առ քայլ
- 1
Նախապատրաստեք պրոքսիի URL-ները
Փոխակերպեք ձեր ProxyV4
ip:port:user:passտողերըhttp://user:pass@ip:port-ի պրոքսիի ձևաչափի փոխարկիչով և պահպանեք դրանք կարգավորումներում կամ ֆայլում: - 2
Գրեք ProxyPoolMiddleware-ը
middlewares.pyֆայլում իրականացրեքprocess_request(self, request, spider)մեթոդը, որպեսզի այն սահմանիrequest.meta['proxy'] = random.choice(self.proxies): - 3
Գրանցեք այն ներկառուցվածից առաջ
settings.pyֆայլում ավելացրեք'myproject.middlewares.ProxyPoolMiddleware': 740տողըDOWNLOADER_MIDDLEWARES-ում և սահմանեքCONCURRENT_REQUESTS_PER_IP = 2: - 4
Հաստատեք ռոտացիան
Մի քանի անգամ կանչեք
https://proxyv4.com/api/my-ipհասցենscrapy shell-ի կամ կարճ թեստային spider-ի միջոցով և համոզվեք, որ վերադարձվող IP-ն փոխվում է ձեր փուլից:
Հաճախ տրվող հարցեր
Իմ պրոքսի middleware-ը 800 առաջնահերթությամբ ստանում է 407 սխալ: Ինչո՞ւ:
800 դեպքում այն աշխատում է HttpProxyMiddleware (750)-ից հետո, ուստի ձեր պրոքսիի URL-ում առկա user:pass-ը երբեք չի վերածվում Proxy-Authorization վերնագրի: Տեղափոխեք ձեր middleware-ը 750-ից առաջ, օրինակ՝ 740:
Կարո՞ղ եմ սահմանել պրոքսի միայն մեկ հարցման համար:
Այո: Փոխանցեք meta={'proxy': 'http://user:pass@ip:port'}, երբ ստեղծում եք Request-ը. ներկառուցված middleware-ը կկարգավորի մուտքը միայն տվյալ հարցման համար:
Միլիոնավոր էջերի crawl-ը կհասնի՞ թողունակության սահմանաչափին:
Ոչ ProxyV4 private IPv4 կամ static ISP պրոքսիներում. երկուսն էլ ունեն անսահմանափակ թրաֆիկ: Գործնական սահմանափակումը կախված է միայն նրանից, թե որքան արագ է թիրախային կայքը թույլ տալիս քաղել տվյալները:
Աղբյուրներ
Անսահմանափակ ստատիկ IP-ներ Scrapy crawl-ի համար
Private IPv4 7 երկրում, ինչպես նաև static ISP ԱՄՆ-ում և Վիետնամում՝ մեկ IP-ից մինչև մեծ փուլ՝ ծավալային ճկուն գնագոյացմամբ:
Դիտել ԱՄՆ ընթացիկ գները