ProxyV4

Selenium WebDriver և աուտենտիֆիկացված պրոքսիներ. ինչն է աշխատում

· Updated:

Selenium-ում պրոքսիի աուտենտիֆիկացիան պահանջում է շրջանցող լուծում, քանի որ ChromeDriver-ի --proxy-server=http://ip:port դրոշակը չի կարող պարունակել մուտքանուն և գաղտնաբառ. Chrome-ն անտեսում է ներկառուցված user:pass-ը և ցուցադրում մուտքի պատուհան, որը WebDriver-ը չի կարող լրացնել: Երկու հուսալի լուծումներն են selenium-wire-ը, որն ապահովում է ProxyV4-ի մուտքը Python-ում, և Chrome-ի փոքր ընդլայնումը, որը պատասխանում է onAuthRequired-ին Selenium-ի ցանկացած լեզվով:

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Private IPv4 (datacenter)
🇺🇸 Միացյալ Նահանգներ
Առկա է
Սկսած
1,10 $ / IP / ամիս
Քանակային զեղչեր
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Գնել Միացյալ Նահանգներ
Ստատիկ ռեզիդենտային ISP
🇺🇸 Միացյալ Նահանգներ
Առկա է
Սկսած
1,50 $ / IP / ամիս
Քանակային զեղչեր
  • 1 IP2,25 $
  • 3+ IP2,10 $
  • 10+ IP2,00 $
  • 25+ IP1,90 $
  • 50+ IP1,80 $
  • 100+ IP1,70 $
  • 200+ IP1,60 $
  • 500+ IP1,50 $
Գնել Միացյալ Նահանգներ
Պրոքսիներ ըստ հարթակի:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Տարբերակների համեմատություն

ՄեթոդԻնչպես կարգավորելԵրբ է հարմար
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Ամենաարագ տարբերակը Python-ում. պրոքսին կարելի է փոխել դիտարկիչը բաց պահելով
Աուտենտիֆիկացիայի ընդլայնումZIP-արխիվացված ընդլայնում, որի ֆոնային սկրիպտը մշակում է chrome.webRequest.onAuthRequired-ըՀավասարապես հարմար է Java-ի, C#-ի, Python-ի և undetected-chromedriver-ի համար
Անցում Playwright-ինbrowser.newContext({ proxy: { server, username, password } })Նոր նախագծեր. պրոքսիի մուտքը ներկառուցված է, առանց ընդլայնման

Ինչ է տեղի ունենում պարզ --proxy-server-ի դեպքում

Chrome-ը վերցնում է պրոքսիի հասցեն հրամանային տողից, սակայն անտեսում է դրանում գրված ցանկացած մուտքային տվյալ: Երբ պրոքսին վերադարձնում է 407, Chrome-ը բացում է համակարգային մուտքի պատուհան: Այդ պատուհանը գտնվում է էջի DOM-ից դուրս, ուստի find_element-ը չի կարող այն տեսնել, և սկրիպտը սպասում է մինչև ժամանակը սպառվի: Հետևաբար, աշխատող յուրաքանչյուր մեթոդ մուտքային տվյալները փոխանցում է դրոշակից դուրս:

Նկատի ունեցեք, որ selenium-wire-ն այլևս ակտիվորեն չի թարմացվում: Այն դեռ աշխատում է շատ դեպքերում, սակայն երկարաժամկետ նախագծերի համար ընդլայնման տարբերակը կամ Playwright-ը շատ ավելի ապահով են:

Selenium-ի արդյունավետ աշխատանքը պրոքսիով

  • Սահմանեք options.page_load_strategy = 'eager', որպեսզի սկրիպտը շարունակի աշխատանքը DOM-ի պատրաստ լինելուն պես՝ առանց երրորդ կողմի դանդաղ սկրիպտներին սպասելու
  • Chrome 109 կամ ավելի նոր տարբերակներում headless ռեժիմով աշխատեցնելու համար օգտագործեք --headless=new. ընդլայնումները, ներառյալ աուտենտիֆիկացիայի ընդլայնումը, կաշխատեն ինչպես սովորական պատուհանում
  • Անջատեք նկարների բեռնումը Chrome-ի կարգավորումներում, երբ ձեզ անհրաժեշտ է միայն տեքստ, օրինակ՝ գներ կամ վերնագրեր
  • Տեղադրեք driver.quit()-ը try / finally բլոկում, որպեսզի խափանման դեպքում Chrome-ի պրոցեսները բաց չմնան

Մինչև ծավալները մեծացնելը

WebDriver-ի յուրաքանչյուր սեսիա լիարժեք բրաուզեր է, ուստի ամեն սեսիային տրամադրեք իր առանձին IP-ն, եթե կայքը հաշիվները կապում է ըստ հասցեի: ProxyV4-ի անհատական IPv4-ը վարձակալվում է մեկ հաճախորդի կողմից և պահպանում է իր հասցեն երկարաձգելիս, ինչը թույլ է տալիս երկարատև թեստային հաշիվները պահել նույն IP-ի վրա: Նախ ստուգեք նոր պրոքսիները պրոքսիի ստուգիչի միջոցով, որպեսզի անորակ կապուղին չարտացոլվի որպես Selenium-ի շփոթեցնող թայմ-աութ:

Եթե գործարկումը դեռևս բացում է էջերը սերվերի սեփական IP-ից կամ ընդհատվում է թունելի սխալով, պրոքսին չի աշխատում էջի Selenium բաժնում հերթականությամբ թվարկված են հիմնական պատճառները:

Քայլ առ քայլ

  1. 1

    Տեղադրեք selenium-wire-ը

    Ձեր վիրտուալ միջավայրում գործարկեք pip install selenium-wire:

  2. 2

    Կարգավորեք պրոքսիի պարամետրերը

    Ստեղծեք sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} կոնֆիգուրացիան ձեր ProxyV4-ի պատվերի տվյալներով:

  3. 3

    Գործարկեք Chrome-ն այդ պարամետրերով

    Ստեղծեք դրայվերը driver = webdriver.Chrome(seleniumwire_options=sw_options) հրամանով՝ ներմուծելով webdriver-ը seleniumwire-ից:

  4. 4

    Ստուգեք ելքային IP-ն

    Կանչեք driver.get('https://proxyv4.com/api/my-ip') և համոզվեք, որ էջը ցույց է տալիս պրոքսիի հասցեն:

Հաճախ տրվող հարցեր

Ինչու է --proxy-server=http://user:pass@ip:port-ն անտեսվում ChromeOptions-ում:

Chrome-ն ըստ նախագծման հեռացնում է մուտքային տվյալները --proxy-server-ի արժեքից: Փոխանցեք դրանք selenium-wire-ի, onAuthRequired ընդլայնման միջոցով կամ անցեք Playwright-ին, որն ուղղակիորեն ընդունում է մուտքանուն և գաղտնաբառ:

Կարո՞ղ է արդյոք selenium-wire-ը փոխել պրոքսին առանց դիտարկիչը վերագործարկելու:

Այո: Վերագրեք նոր dict՝ driver.proxy = {'http': 'http://...', 'https': 'http://...'}, և հաջորդ հարցումները կօգտագործեն նոր պրոքսին:

Աշխատո՞ւմ է արդյոք աուտենտիֆիկացիայի ընդլայնումը headless Chrome-ում:

Այո, --headless=new ռեժիմով: Հին --headless ռեժիմը ընդլայնումները նույն կերպ չէր բեռնում:

Selenium-ը պրոքսիի միջոցով յուրաքանչյուր էջում տալիս է timeout: Ի՞նչ անել:

Բեռնեք IP-ի endpoint-ը curl-ով՝ օգտագործելով նույն տվյալները: Եթե curl-ը նույնպես չի աշխատում, խնդիրը գծի կամ պորտի մեջ է. պրոքսիի timeout-ների ուղեցույցում նշված է, թե ինչ պետք է ստուգել:

Աղբյուրներ

Կայուն IP-ներ Selenium-ի սեսիաների համար

Անհատական IPv4 7 երկրներում և ստատիկ ISP ԱՄՆ-ում ու Վիետնամում՝ մուտքանունով և գաղտնաբառով, անսահմանափակ տրաֆիկով և մեկ հաճախորդ մեկ IP-ի համար:

Տեսնել ԱՄՆ-ի գները

Related articles

Պրոքսիներ ըստ հարթակի
Պրոքսիներ web scraping-ի համար. IP-ների ֆիքսված փուլ՝ անսահմանափակ թրաֆիկով
Web scraping պրոքսիներ Python-ի, Scrapy-ի, Playwright-ի և Selenium-ի համար. առանձնացված IPv4 և ստատիկ ISP, անսահմանափակ թրաֆիկ, ֆիքսված գին ըստ IP-ի:
Պրոքսիի կարգավորում
Playwright պրոքսիի նույնականացում. մեկ ստատիկ IP յուրաքանչյուր կոնտեքստի համար
Տվեք Playwright-ի ամեն կոնտեքստին նույնականացված HTTP(S) պրոքսի Node.js-ում կամ Python-ում, հարմարեցրեք ժամային գոտին ու լոկալը IP-ին և ստուգեք ելքային հասցեն:
Պրոքսիի կարգավորում
Python requests նույնականացված պրոքսիի միջոցով՝ քայլ առ քայլ
Ուղարկեք Python requests հարցումներ նույնականացված HTTP(S) պրոքսիով. ստեղծեք proxies բառարանը, կցեք Session-ին, կոդավորեք գաղտնաբառերը և ստուգեք IP-ն:
Պրոքսիի կարգավորում
Puppeteer նույնականացված պրոքսիով. գործարկման դրոշակ և մուտք
Puppeteer պրոքսիի նույնականացում. աշխատող օրինակ՝ --proxy-server հասցեի համար, page.authenticate() մուտքի համար, ապա SOCKS5, կոնտեքստներ և լուծումներ:
Պրոքսիներ ըստ հարթակի
Պրոքսիներ SEO դիրքերի ստուգման համար. տեսեք արդյունքների էջն այնպես, ինչպես տեսնում է տեղացի օգտատերը
SEO դիրքերի ստուգման պրոքսիներ անհատական IPv4-ով ԱՄՆ-ում, ՄԹ-ում, Վիետնամում, Ճապոնիայում և 4 այլ երկրում. դիրքերն ու գովազդը՝ ինչպես տեսնում են տեղացիները:
Պրոքսիներ ըստ հարթակի
Amazon seller պրոքսիներ, որոնք յուրաքանչյուր հաշվին տալիս են մշտական հասցե
Amazon seller պրոքսիներ Seller Central-ի, KDP-ի և Merch-ի համար. ԱՄՆ ստատիկ ISP կամ ՄԹ/Ճապոնիայի մասնավոր IPv4՝ մեկ հաշվին, միայն ձեզ և նույնը երկարաձգելիս:
IPV4 · united states
ԱՄՆ-ի անհատական IPv4 պրոքսի փուլ՝ սքրեյփինգի, դիրքերի հետևման և գովազդի ստուգման համար
Գնեք ԱՄՆ պրիվատ IPv4 պրոքսիներ՝ ստատիկ դատացենտրի IP-ներ, մեկ հաճախորդ մեկ IP-ին, անսահմանափակ տրաֆիկ: Սքրեյփինգի, SERP-ի և ԱՄՆ գովազդի ստուգման համար:
ISP · united states
ԱՄՆ ստատիկ ISP պրոքսի․ տնային գրանցմամբ IP, որը երբեք չի փոխվում
ԱՄՆ ստատիկ ISP պրոքսիներ՝ տնային ինտերնետ-պրովայդերների IP-ներով: Ֆիքսված ամերիկյան IP Amazon-ի վաճառողների, գովազդային հաշիվների և Instagram-ի համար: