Selenium WebDriver და ავტორიზებული პროქსები: რა მუშაობს რეალურად
ProxyV4-ის საინჟინრო გუნდისგან · Updated:
Selenium-ში პროქსის ავტორიზაციას შემოვლითი გზა სჭირდება, რადგან ChromeDriver-ის ალამი --proxy-server=http://ip:port ვერ გადასცემს მომხმარებლის სახელსა და პაროლს; Chrome აიგნორებს ჩაშენებულ user:pass-ს და აჩვენებს ავტორიზაციის ფანჯარას, რომლის შევსებაც WebDriver-ს არ შეუძლია. პრობლემის გადაჭრის ორი საიმედო გზა არსებობს: selenium-wire, რომელიც ProxyV4-ის ავტორიზაციას Python-ში ამუშავებს, და Chrome-ის მცირე გაფართოება, რომელიც პასუხობს onAuthRequired-ს Selenium-ის ნებისმიერ ენაზე.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP2,25 US$
- 3+ IP2,10 US$
- 10+ IP2,00 US$
- 25+ IP1,90 US$
- 50+ IP1,80 US$
- 100+ IP1,70 US$
- 200+ IP1,60 US$
- 500+ IP1,50 US$
ვარიანტების შედარება
| მეთოდი | როგორ კონფიგურირდება | სად გამოდგება |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | ყველაზე სწრაფი გზა Python-ში; პროქსის შეცვლა შესაძლებელია გახსნილი ბრაუზერის დროსაც |
| Auth გაფართოება | დაარქივებული (ZIP) გაფართოება, რომლის ფონური სკრიპტიც ამუშავებს chrome.webRequest.onAuthRequired-ს | ერთნაირად გამოდგება Java-სთვის, C#-ისთვის, Python-ისთვის და undetected-chromedriver-ისთვის |
| Playwright-ზე გადასვლა | browser.newContext({ proxy: { server, username, password } }) | ახალი პროექტებისთვის; პროქსის ავტორიზაცია ჩაშენებულია, გაფართოება არ სჭირდება |
რა ხდება ჩვეულებრივი --proxy-server-ის გამოყენებისას
Chrome პროქსის მისამართს ბრძანების სტრიქონიდან იღებს, მაგრამ მასში მითითებულ ნებისმიერ მონაცემს უგულებელყოფს. როდესაც პროქსი აბრუნებს 407 პასუხს, Chrome სისტემურ ავტორიზაციის ფანჯარას ხსნის. ეს ფანჯარა გვერდის DOM-ის მიღმაა, ამიტომ find_element მას ვერ ხედავს და სკრიპტი ტაიმაუტამდე ელოდება. შესაბამისად, ყველა მომუშავე მეთოდი მონაცემებს ალმის მიღმა, სხვა გზით აწვდის.
გაითვალისწინეთ, რომ selenium-wire აღარ ვითარდება აქტიურად. ის კვლავ მუშაობს მრავალ კონფიგურაციაში, თუმცა გრძელვადიანი პროექტებისთვის გაფართოების მიდგომა ან Playwright უფრო საიმედო არჩევანია.
პროქსით Selenium-ის გაშვებების ეფექტურობის შენარჩუნება
- მიუთითეთ
options.page_load_strategy = 'eager', რათა სკრიპტმა მუშაობა DOM-ის მომზადებისთანავე გააგრძელოს და არ დაელოდოს ნელ მესამე მხარის სკრიპტებს - Chrome 109 ან უფრო ახალ ვერსიაზე headless რეჟიმში გაშვებისთვის გამოიყენეთ
--headless=new; გაფართოებები, მათ შორის ავტორიზაციის გაფართოება, ჩვეულებრივი ფანჯრის მსგავსად იმუშავებს - გათიშეთ სურათების ჩატვირთვა Chrome-ის პარამეტრებში, როდესაც მხოლოდ ტექსტი გჭირდებათ, მაგალითად ფასები ან სათაურები
- ჩასვით
driver.quit()ბლოკშიtry / finally, რათა შეცდომის გამო შეწყვეტისას Chrome-ის პროცესები ფონურ რეჟიმში არ დარჩეს
სანამ მასშტაბირებაზე გადახვიდეთ
WebDriver-ის თითოეული სესია სრულფასოვანი ბრაუზერია, ამიტომ თითოეულ სესიას მიანიჭეთ საკუთარი IP, თუ საიტი ანგარიშებს მისამართის მიხედვით აკავშირებს. ProxyV4-ის პრივატული IPv4 ქირავდება ერთ მომხმარებელზე და განახლებისას ინარჩუნებს თავის მისამართს, რაც ხანგრძლივ სატესტო ანგარიშებს იმავე IP-ზე ტოვებს. ახალი პროქსიები ჯერ გაატარეთ პროქსის შემმოწმებელში, რათა გაუმართავი ხაზი Selenium-ის გაურკვეველ timeout-ად არ გამოჩნდეს.
თუ გაშვებისას გვერდები მაინც სერვერის საკუთარი IP-დან იხსნება ან პროცესი tunnel შეცდომაზე ჩერდება, პროქსი არ მუშაობს გვერდის Selenium-ის სექციაში თანმიმდევრობით არის ჩამოთვლილი ძირითადი მიზეზები.
ეტაპობრივი ინსტრუქცია
- 1
დააინსტალირეთ selenium-wire
თქვენს ვირტუალურ გარემოში გაუშვით
pip install selenium-wire. - 2
აღწერეთ პროქსი
შეადგინეთ
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}თქვენი ProxyV4-ის შეკვეთის მიხედვით. - 3
გაუშვით Chrome ამ პარამეტრებით
შექმენით დრაივერი ბრძანებით
driver = webdriver.Chrome(seleniumwire_options=sw_options), სადაცwebdriver-ის იმპორტი ხდებაseleniumwire-დან. - 4
შეამოწმეთ გამავალი IP
გამოიძახეთ
driver.get('https://proxyv4.com/api/my-ip')და დარწმუნდით, რომ გვერდზე პროქსის მისამართი ჩანს.
ხშირად დასმული კითხვები
რატომ უგულებელყოფს ChromeOptions მნიშვნელობას --proxy-server=http://user:pass@ip:port?
Chrome წინასწარ განსაზღვრული წესით შლის ავტორიზაციის მონაცემებს --proxy-server-ის მნიშვნელობიდან. მიაწოდეთ ისინი selenium-wire-ის ან onAuthRequired გაფართოების მეშვეობით, ან გადადით Playwright-ზე, რომელიც პირდაპირ იღებს მომხმარებლის სახელსა და პაროლს.
შეუძლია selenium-wire-ს პროქსის შეცვლა ბრაუზერის გადატვირთვის გარეშე?
დიახ. მიანიჭეთ ახალი dict: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, და შემდგომი მოთხოვნები ახალ პროქსის გამოიყენებს.
მუშაობს ავტორიზაციის გაფართოება headless Chrome-ში?
დიახ, პარამეტრით --headless=new. ძველი --headless რეჟიმი გაფართოებებს ამგვარად არ ტვირთავდა.
Selenium-ს პროქსის გავლით ყველა გვერდზე ტაიმაუტი აქვს. რა გავაკეთოთ?
ჩატვირთეთ IP-ის ენდპოინტი cURL-ით იგივე მონაცემების გამოყენებით. თუ cURL-იც ვერ უკავშირდება, პრობლემა ხაზში ან პორტშია; პროქსის ტაიმაუტის გზამკვლევში ჩამოთვლილია, რა უნდა შემოწმდეს.
წყაროები
სტაბილური IP-ები Selenium-ის სესიებისთვის
პირადი IPv4 7 ქვეყანაში და სტატიკური ISP აშშ-სა და ვიეტნამში, მომხმარებლითა და პაროლით, შეუზღუდავი ტრაფიკით და მხოლოდ ერთი კლიენტით თითო IP-ზე.
შეამოწმეთ აშშ-ის აქტუალური ფასები