Selenium WebDriver և աուտենտիֆիկացված պրոքսիներ. ինչն է աշխատում
ProxyV4-ի ինժեներական թիմի կողմից · Updated:
Selenium-ում պրոքսիի աուտենտիֆիկացիան պահանջում է շրջանցող լուծում, քանի որ ChromeDriver-ի --proxy-server=http://ip:port դրոշակը չի կարող պարունակել մուտքանուն և գաղտնաբառ. Chrome-ն անտեսում է ներկառուցված user:pass-ը և ցուցադրում մուտքի պատուհան, որը WebDriver-ը չի կարող լրացնել: Երկու հուսալի լուծումներն են selenium-wire-ը, որն ապահովում է ProxyV4-ի մուտքը Python-ում, և Chrome-ի փոքր ընդլայնումը, որը պատասխանում է onAuthRequired-ին Selenium-ի ցանկացած լեզվով:
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP2,25 $
- 3+ IP2,10 $
- 10+ IP2,00 $
- 25+ IP1,90 $
- 50+ IP1,80 $
- 100+ IP1,70 $
- 200+ IP1,60 $
- 500+ IP1,50 $
Տարբերակների համեմատություն
| Մեթոդ | Ինչպես կարգավորել | Երբ է հարմար |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Ամենաարագ տարբերակը Python-ում. պրոքսին կարելի է փոխել դիտարկիչը բաց պահելով |
| Աուտենտիֆիկացիայի ընդլայնում | ZIP-արխիվացված ընդլայնում, որի ֆոնային սկրիպտը մշակում է chrome.webRequest.onAuthRequired-ը | Հավասարապես հարմար է Java-ի, C#-ի, Python-ի և undetected-chromedriver-ի համար |
| Անցում Playwright-ին | browser.newContext({ proxy: { server, username, password } }) | Նոր նախագծեր. պրոքսիի մուտքը ներկառուցված է, առանց ընդլայնման |
Ինչ է տեղի ունենում պարզ --proxy-server-ի դեպքում
Chrome-ը վերցնում է պրոքսիի հասցեն հրամանային տողից, սակայն անտեսում է դրանում գրված ցանկացած մուտքային տվյալ: Երբ պրոքսին վերադարձնում է 407, Chrome-ը բացում է համակարգային մուտքի պատուհան: Այդ պատուհանը գտնվում է էջի DOM-ից դուրս, ուստի find_element-ը չի կարող այն տեսնել, և սկրիպտը սպասում է մինչև ժամանակը սպառվի: Հետևաբար, աշխատող յուրաքանչյուր մեթոդ մուտքային տվյալները փոխանցում է դրոշակից դուրս:
Նկատի ունեցեք, որ selenium-wire-ն այլևս ակտիվորեն չի թարմացվում: Այն դեռ աշխատում է շատ դեպքերում, սակայն երկարաժամկետ նախագծերի համար ընդլայնման տարբերակը կամ Playwright-ը շատ ավելի ապահով են:
Selenium-ի արդյունավետ աշխատանքը պրոքսիով
- Սահմանեք
options.page_load_strategy = 'eager', որպեսզի սկրիպտը շարունակի աշխատանքը DOM-ի պատրաստ լինելուն պես՝ առանց երրորդ կողմի դանդաղ սկրիպտներին սպասելու - Chrome 109 կամ ավելի նոր տարբերակներում headless ռեժիմով աշխատեցնելու համար օգտագործեք
--headless=new. ընդլայնումները, ներառյալ աուտենտիֆիկացիայի ընդլայնումը, կաշխատեն ինչպես սովորական պատուհանում - Անջատեք նկարների բեռնումը Chrome-ի կարգավորումներում, երբ ձեզ անհրաժեշտ է միայն տեքստ, օրինակ՝ գներ կամ վերնագրեր
- Տեղադրեք
driver.quit()-ըtry / finallyբլոկում, որպեսզի խափանման դեպքում Chrome-ի պրոցեսները բաց չմնան
Մինչև ծավալները մեծացնելը
WebDriver-ի յուրաքանչյուր սեսիա լիարժեք բրաուզեր է, ուստի ամեն սեսիային տրամադրեք իր առանձին IP-ն, եթե կայքը հաշիվները կապում է ըստ հասցեի: ProxyV4-ի անհատական IPv4-ը վարձակալվում է մեկ հաճախորդի կողմից և պահպանում է իր հասցեն երկարաձգելիս, ինչը թույլ է տալիս երկարատև թեստային հաշիվները պահել նույն IP-ի վրա: Նախ ստուգեք նոր պրոքսիները պրոքսիի ստուգիչի միջոցով, որպեսզի անորակ կապուղին չարտացոլվի որպես Selenium-ի շփոթեցնող թայմ-աութ:
Եթե գործարկումը դեռևս բացում է էջերը սերվերի սեփական IP-ից կամ ընդհատվում է թունելի սխալով, պրոքսին չի աշխատում էջի Selenium բաժնում հերթականությամբ թվարկված են հիմնական պատճառները:
Քայլ առ քայլ
- 1
Տեղադրեք selenium-wire-ը
Ձեր վիրտուալ միջավայրում գործարկեք
pip install selenium-wire: - 2
Կարգավորեք պրոքսիի պարամետրերը
Ստեղծեք
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}կոնֆիգուրացիան ձեր ProxyV4-ի պատվերի տվյալներով: - 3
Գործարկեք Chrome-ն այդ պարամետրերով
Ստեղծեք դրայվերը
driver = webdriver.Chrome(seleniumwire_options=sw_options)հրամանով՝ ներմուծելովwebdriver-ըseleniumwire-ից: - 4
Ստուգեք ելքային IP-ն
Կանչեք
driver.get('https://proxyv4.com/api/my-ip')և համոզվեք, որ էջը ցույց է տալիս պրոքսիի հասցեն:
Հաճախ տրվող հարցեր
Ինչու է --proxy-server=http://user:pass@ip:port-ն անտեսվում ChromeOptions-ում:
Chrome-ն ըստ նախագծման հեռացնում է մուտքային տվյալները --proxy-server-ի արժեքից: Փոխանցեք դրանք selenium-wire-ի, onAuthRequired ընդլայնման միջոցով կամ անցեք Playwright-ին, որն ուղղակիորեն ընդունում է մուտքանուն և գաղտնաբառ:
Կարո՞ղ է արդյոք selenium-wire-ը փոխել պրոքսին առանց դիտարկիչը վերագործարկելու:
Այո: Վերագրեք նոր dict՝ driver.proxy = {'http': 'http://...', 'https': 'http://...'}, և հաջորդ հարցումները կօգտագործեն նոր պրոքսին:
Աշխատո՞ւմ է արդյոք աուտենտիֆիկացիայի ընդլայնումը headless Chrome-ում:
Այո, --headless=new ռեժիմով: Հին --headless ռեժիմը ընդլայնումները նույն կերպ չէր բեռնում:
Selenium-ը պրոքսիի միջոցով յուրաքանչյուր էջում տալիս է timeout: Ի՞նչ անել:
Բեռնեք IP-ի endpoint-ը curl-ով՝ օգտագործելով նույն տվյալները: Եթե curl-ը նույնպես չի աշխատում, խնդիրը գծի կամ պորտի մեջ է. պրոքսիի timeout-ների ուղեցույցում նշված է, թե ինչ պետք է ստուգել:
Աղբյուրներ
Կայուն IP-ներ Selenium-ի սեսիաների համար
Անհատական IPv4 7 երկրներում և ստատիկ ISP ԱՄՆ-ում ու Վիետնամում՝ մուտքանունով և գաղտնաբառով, անսահմանափակ տրաֆիկով և մեկ հաճախորդ մեկ IP-ի համար:
Տեսնել ԱՄՆ-ի գները