ProxyV4

Scrapy պրոքսիներ. meta['proxy'], middleware-ի կարգ և ռոտացիա

· Updated:

Scrapy-ում պրոքսին յուրաքանչյուր հարցման համար սահմանվում է request.meta['proxy'] = 'http://user:pass@ip:port' միջոցով, իսկ ներկառուցված HttpProxyMiddleware-ը (հերթական համարը՝ 750) փոխակերպում է user:pass մասը Proxy-Authorization վերնագրի: Ավելացրեք փոքր downloader middleware, որն աշխատում է դրանից առաջ՝ 740 համարով, և ձեր spider-ի յուրաքանչյուր հարցում կկարողանա ընտրել IP ձեր ProxyV4 փուլից:

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Private IPv4 (datacenter)
🇺🇸 Միացյալ Նահանգներ
Առկա է
Սկսած
1,10 $ / IP / ամիս
Քանակային զեղչեր
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Գնել Միացյալ Նահանգներ
Private IPv4 (datacenter)
🇬🇧 Միացյալ Թագավորություն
Առկա է
Սկսած
1,10 $ / IP / ամիս
Քանակային զեղչեր
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Գնել Միացյալ Թագավորություն
Պրոքսիներ ըստ հարթակի:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Ինչու է կարևոր middleware-ի համարը

Downloader middleware-ներն աշխատում են աճման կարգով ելքային ճանապարհին: HttpProxyMiddleware-ը 750 համարով կարդում է meta['proxy']-ն, հեռացնում է մուտքային տվյալները URL-ից և գրում auth վերնագիրը: Եթե ձեր սեփական middleware-ը պրոքսին սահմանում է դրանից հետո, օրինակ՝ 800-ում, ապա ներկառուցվածն արդեն աշխատել է, տվյալները երբեք չեն փոխակերպվում, և պրոքսին պատասխանում է 407: Ձերը 740 համարով գրանցելը այն դնում է առաջին տեղում:

ԿարգավորումԱռաջարկվող արժեքԱզդեցություն
request.meta['proxy']'http://user:pass@ip:port'Ուղարկում է տվյալ հարցումը նշված ProxyV4 պրոքսիով
Ձեր middleware-ի կարգը740Աշխատում է HttpProxyMiddleware (750)-ից առաջ, որպեսզի մուտքանունն ու գաղտնաբառը կոդավորվեն
CONCURRENT_REQUESTS_PER_IP2-ից 4Սահմանափակում է զուգահեռ հարցումները յուրաքանչյուր նպատակակետ IP-ի համար՝ նվազեցնելով սերվերի ծանրաբեռնվածությունը
AUTOTHROTTLE_ENABLEDTrueԹույլ է տալիս Scrapy-ին կարգավորել դադարների տևողությունը՝ ելնելով նպատակային սերվերի արձագանքման արագությունից

Ռոտացիայի middleware-ի համառոտ նկարագիրը

  • Կարդացեք պրոքսիների ցանկը կարգավորումներից from_crawler()-ում և պահեք այն middleware-ի instance-ի վրա
  • process_request()-ում նշանակեք request.meta['proxy'] = random.choice(self.proxies), եթե հարցումն արդեն չունի սահմանված պրոքսի
  • Երբ պատասխանը վերադառնում է 429 կամ 503, կրկնեք հարցումը փուլի մեկ այլ պրոքսիով՝ մերժվածի փոխարեն
  • Համատեղեք DOWNLOAD_DELAY = 1.0-ը RANDOMIZE_DOWNLOAD_DELAY = True-ի հետ, որպեսզի հարցումների միջև ընդմիջումները լինեն փոփոխական, ոչ թե ֆիքսված մետրոնոմի պես

Փուլի ծավալի որոշումը

Scrapy-ի crawl-ը կարող է րոպեում բազմաթիվ հարցումներ ուղարկել, ուստի IP-ների քանակը որոշում է, թե որքան խնայողաբար է օգտագործվում յուրաքանչյուրը: ProxyV4-ի հետ չկա պատվերի նվազագույն քանակ, իսկ մեկ IP-ի գինը նվազում է քանակի ավելացմանը զուգընթաց: Բացի այդ, private IPv4 տրաֆիկը չի սահմանափակվում, այնպես որ մեծ ծավալի crawl-ը թողունակության առումով արժենում է նույնքան, որքան փոքրը: Յուրաքանչյուր IP օգտագործվում է միայն մեկ հաճախորդի կողմից, ուստի դրա հեղինակությունն արտացոլում է բացառապես ձեր crawl-ը: Ծավալների և հարցումների հաճախականության պլանավորման համար տես web scraping-ի ուղեցույցը:

Քայլ առ քայլ

  1. 1

    Նախապատրաստեք պրոքսիի URL-ները

    Փոխակերպեք ձեր ProxyV4 ip:port:user:pass տողերը http://user:pass@ip:port-ի պրոքսիի ձևաչափի փոխարկիչով և պահպանեք դրանք կարգավորումներում կամ ֆայլում:

  2. 2

    Գրեք ProxyPoolMiddleware-ը

    middlewares.py ֆայլում իրականացրեք process_request(self, request, spider) մեթոդը, որպեսզի այն սահմանի request.meta['proxy'] = random.choice(self.proxies):

  3. 3

    Գրանցեք այն ներկառուցվածից առաջ

    settings.py ֆայլում ավելացրեք 'myproject.middlewares.ProxyPoolMiddleware': 740 տողը DOWNLOADER_MIDDLEWARES-ում և սահմանեք CONCURRENT_REQUESTS_PER_IP = 2:

  4. 4

    Հաստատեք ռոտացիան

    Մի քանի անգամ կանչեք https://proxyv4.com/api/my-ip հասցեն scrapy shell-ի կամ կարճ թեստային spider-ի միջոցով և համոզվեք, որ վերադարձվող IP-ն փոխվում է ձեր փուլից:

Հաճախ տրվող հարցեր

Իմ պրոքսի middleware-ը 800 առաջնահերթությամբ ստանում է 407 սխալ: Ինչո՞ւ:

800 դեպքում այն աշխատում է HttpProxyMiddleware (750)-ից հետո, ուստի ձեր պրոքսիի URL-ում առկա user:pass-ը երբեք չի վերածվում Proxy-Authorization վերնագրի: Տեղափոխեք ձեր middleware-ը 750-ից առաջ, օրինակ՝ 740:

Կարո՞ղ եմ սահմանել պրոքսի միայն մեկ հարցման համար:

Այո: Փոխանցեք meta={'proxy': 'http://user:pass@ip:port'}, երբ ստեղծում եք Request-ը. ներկառուցված middleware-ը կկարգավորի մուտքը միայն տվյալ հարցման համար:

Միլիոնավոր էջերի crawl-ը կհասնի՞ թողունակության սահմանաչափին:

Ոչ ProxyV4 private IPv4 կամ static ISP պրոքսիներում. երկուսն էլ ունեն անսահմանափակ թրաֆիկ: Գործնական սահմանափակումը կախված է միայն նրանից, թե որքան արագ է թիրախային կայքը թույլ տալիս քաղել տվյալները:

Աղբյուրներ

Անսահմանափակ ստատիկ IP-ներ Scrapy crawl-ի համար

Private IPv4 7 երկրում, ինչպես նաև static ISP ԱՄՆ-ում և Վիետնամում՝ մեկ IP-ից մինչև մեծ փուլ՝ ծավալային ճկուն գնագոյացմամբ:

Դիտել ԱՄՆ ընթացիկ գները

Related articles

Պրոքսիներ ըստ հարթակի
Պրոքսիներ web scraping-ի համար. IP-ների ֆիքսված փուլ՝ անսահմանափակ թրաֆիկով
Web scraping պրոքսիներ Python-ի, Scrapy-ի, Playwright-ի և Selenium-ի համար. առանձնացված IPv4 և ստատիկ ISP, անսահմանափակ թրաֆիկ, ֆիքսված գին ըստ IP-ի:
Պրոքսիի կարգավորում
Python requests նույնականացված պրոքսիի միջոցով՝ քայլ առ քայլ
Ուղարկեք Python requests հարցումներ նույնականացված HTTP(S) պրոքսիով. ստեղծեք proxies բառարանը, կցեք Session-ին, կոդավորեք գաղտնաբառերը և ստուգեք IP-ն:
Պրոքսիի կարգավորում
Playwright պրոքսիի նույնականացում. մեկ ստատիկ IP յուրաքանչյուր կոնտեքստի համար
Տվեք Playwright-ի ամեն կոնտեքստին նույնականացված HTTP(S) պրոքսի Node.js-ում կամ Python-ում, հարմարեցրեք ժամային գոտին ու լոկալը IP-ին և ստուգեք ելքային հասցեն:
Անվճար գործիքներ
Վերափոխեք պրոքսի ցուցակն այն ձևաչափի, որն ակնկալում է ձեր գործիքը
Փոխարկեք պրոքսի ցուցակները բրաուզերում ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON զանգվածների և FoxyProxy ֆայլերի միջև՝ խմբաքանակով:
Պրոքսիներ ըստ հարթակի
Պրոքսիներ SEO դիրքերի ստուգման համար. տեսեք արդյունքների էջն այնպես, ինչպես տեսնում է տեղացի օգտատերը
SEO դիրքերի ստուգման պրոքսիներ անհատական IPv4-ով ԱՄՆ-ում, ՄԹ-ում, Վիետնամում, Ճապոնիայում և 4 այլ երկրում. դիրքերն ու գովազդը՝ ինչպես տեսնում են տեղացիները:
Պրոքսիներ ըստ հարթակի
Amazon seller պրոքսիներ, որոնք յուրաքանչյուր հաշվին տալիս են մշտական հասցե
Amazon seller պրոքսիներ Seller Central-ի, KDP-ի և Merch-ի համար. ԱՄՆ ստատիկ ISP կամ ՄԹ/Ճապոնիայի մասնավոր IPv4՝ մեկ հաշվին, միայն ձեզ և նույնը երկարաձգելիս:
IPV4 · united states
ԱՄՆ-ի անհատական IPv4 պրոքսի փուլ՝ սքրեյփինգի, դիրքերի հետևման և գովազդի ստուգման համար
Գնեք ԱՄՆ պրիվատ IPv4 պրոքսիներ՝ ստատիկ դատացենտրի IP-ներ, մեկ հաճախորդ մեկ IP-ին, անսահմանափակ տրաֆիկ: Սքրեյփինգի, SERP-ի և ԱՄՆ գովազդի ստուգման համար:
IPV4 · united kingdom
Մեծ Բրիտանիայի անհատական IPv4 պրոքսի՝ մարքեթփլեյսերի, որոնման և արշավների համար
Մեծ Բրիտանիայի մասնավոր IPv4 պրոքսի մեկ հաճախորդի համար՝ eBay UK-ի, Amazon.co.uk-ի, google.co.uk-ի և բրիտանական գովազդների ճշգրիտ հետազոտման համար։