Selenium WebDriver και proxies με ταυτοποίηση: τι λειτουργεί
Από την ομάδα μηχανικών της ProxyV4 · Updated:
Η ταυτοποίηση proxy στο Selenium απαιτεί παράκαμψη, καθώς η παράμετρος --proxy-server=http://ip:port του ChromeDriver δεν μπορεί να μεταφέρει όνομα χρήστη και κωδικό πρόσβασης. Ο Chrome απορρίπτει το ενσωματωμένο user:pass και εμφανίζει ένα παράθυρο διαλόγου σύνδεσης που το WebDriver δεν μπορεί να συμπληρώσει. Οι δύο αξιόπιστες λύσεις είναι το selenium-wire, το οποίο διαχειρίζεται τη σύνδεση ProxyV4 στην Python, και μια μικρή επέκταση Chrome που αποκρίνεται στο onAuthRequired σε οποιαδήποτε γλώσσα του Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP2,25 $
- 3+ IP2,10 $
- 10+ IP2,00 $
- 25+ IP1,90 $
- 50+ IP1,80 $
- 100+ IP1,70 $
- 200+ IP1,60 $
- 500+ IP1,50 $
Σύγκριση επιλογών
| Μέθοδος | Πώς ρυθμίζεται | Ιδανικό για |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Ο ταχύτερος τρόπος στην Python· το proxy μπορεί να αλλάξει ενώ το πρόγραμμα περιήγησης είναι ανοιχτό |
| Επέκταση ταυτοποίησης | Μια συμπιεσμένη επέκταση zip της οποίας το background script διαχειρίζεται το chrome.webRequest.onAuthRequired | Εξίσου κατάλληλο για Java, C#, Python και undetected-chromedriver |
| Μετάβαση σε Playwright | browser.newContext({ proxy: { server, username, password } }) | Νέα έργα· η σύνδεση proxy είναι ενσωματωμένη, χωρίς επέκταση |
Τι συμβαίνει με το απλό --proxy-server
Ο Chrome λαμβάνει τη διεύθυνση του proxy από τη γραμμή εντολών, αλλά αγνοεί τα διαπιστευτήρια που αναγράφονται σε αυτήν. Όταν το proxy απαντά με 407, ο Chrome ανοίγει ένα εγγενές παράθυρο σύνδεσης. Αυτό το παράθυρο βρίσκεται εκτός του DOM της σελίδας, επομένως το find_element δεν μπορεί να το εντοπίσει και το script περιμένει μέχρι να λήξει το χρονικό όριο (timeout). Συνεπώς, κάθε λειτουργική μέθοδος παρέχει τα διαπιστευτήρια σε άλλο σημείο και όχι μέσω της παραμέτρου.
Σημειώστε ότι το selenium-wire δεν συντηρείται πλέον ενεργά. Εξακολουθεί να λειτουργεί για πολλές περιπτώσεις, αλλά για μακροχρόνια έργα, η χρήση επέκτασης ή το Playwright αποτελεί ασφαλέστερη επιλογή.
Διατήρηση της αποδοτικότητας στις εκτελέσεις του Selenium με proxy
- Ορίστε το
options.page_load_strategy = 'eager'ώστε το script να συνεχίζει μόλις το DOM είναι έτοιμο, αντί να περιμένει αργά scripts τρίτων - Για εκτελέσεις headless σε Chrome 109 ή νεότερο χρησιμοποιήστε το
--headless=new· οι επεκτάσεις, συμπεριλαμβανομένης της επέκτασης ταυτοποίησης, λειτουργούν όπως σε ένα κανονικό παράθυρο - Απενεργοποιήστε τη φόρτωση εικόνων στις προτιμήσεις του Chrome όταν χρειάζεστε μόνο κείμενο, όπως τιμές ή τίτλους
- Τοποθετήστε το
driver.quit()σε ένα μπλοκtry / finally, ώστε σε περίπτωση σφάλματος να μην παραμένουν διεργασίες του Chrome στο σύστημα
Πριν αυξήσετε την κλίμακα
Κάθε συνεδρία WebDriver είναι ένα πλήρες πρόγραμμα περιήγησης, επομένως δώστε σε κάθε συνεδρία τη δική της IP εάν ο ιστότοπος συνδέει λογαριασμούς βάσει διεύθυνσης. Ένα private IPv4 του ProxyV4 εκμισθώνεται σε έναν μόνο πελάτη και διατηρεί τη διεύθυνσή του κατά την ανανέωση, διατηρώντας έτσι τους μακροχρόνιους δοκιμαστικούς λογαριασμούς στην ίδια IP. Ελέγξτε πρώτα τα νέα proxies μέσω του proxy checker, ώστε μια προβληματική γραμμή να μην εμφανιστεί ως ένα παραπλανητικό Selenium timeout.
Εάν μια εκτέλεση εξακολουθεί να ανοίγει σελίδες από την IP του ίδιου του διακομιστή ή σταματά σε σφάλμα tunnel, η ενότητα για το Selenium στο proxy not working παραθέτει τις συνήθεις αιτίες κατά σειρά.
Βήμα προς βήμα
- 1
Εγκαταστήστε το selenium-wire
Στο εικονικό σας περιβάλλον, εκτελέστε
pip install selenium-wire. - 2
Ορίστε το proxy
Δημιουργήστε το
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}από την παραγγελία σας στο ProxyV4. - 3
Εκκινήστε τον Chrome με αυτές τις επιλογές
Δημιουργήστε τον driver με
driver = webdriver.Chrome(seleniumwire_options=sw_options), εισάγοντας τοwebdriverαπό τοseleniumwire. - 4
Ελέγξτε την IP εξόδου
Καλέστε το
driver.get('https://proxyv4.com/api/my-ip')και επιβεβαιώστε ότι η σελίδα εμφανίζει τη διεύθυνση του proxy.
Συχνές ερωτήσεις
Γιατί αγνοείται το --proxy-server=http://user:pass@ip:port στο ChromeOptions;
Ο Chrome αφαιρεί από σχεδιασμό τα διαπιστευτήρια από την τιμή του --proxy-server. Καταχωρίστε τα μέσω του selenium-wire, μιας επέκτασης onAuthRequired ή μεταβείτε στο Playwright, το οποίο δέχεται απευθείας όνομα χρήστη και κωδικό πρόσβασης.
Μπορεί το selenium-wire να αλλάξει proxy χωρίς επανεκκίνηση του προγράμματος περιήγησης;
Ναι. Αντιστοιχίστε ένα νέο dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, και τα επόμενα αιτήματα θα χρησιμοποιούν το νέο upstream proxy.
Λειτουργεί η επέκταση ταυτοποίησης σε headless Chrome;
Ναι, με --headless=new. Η παλιά λειτουργία --headless δεν φόρτωνε τις επεκτάσεις με τον ίδιο τρόπο.
Το Selenium εμφανίζει timeout σε κάθε σελίδα μέσω του proxy. Τι να κάνω;
Φορτώστε το endpoint της IP με το cURL χρησιμοποιώντας τα ίδια διαπιστευτήρια. Εάν αποτύχει και το cURL, το πρόβλημα βρίσκεται στη γραμμή ή στη θύρα· ο οδηγός για proxy timeout παραθέτει τι πρέπει να ελέγξετε.
Πηγές
Σταθερές IP για συνεδρίες Selenium
Ιδιωτικές IPv4 σε 7 χώρες και static ISP σε ΗΠΑ και Βιετνάμ, με όνομα χρήστη και κωδικό, απεριόριστη κίνηση και ένας πελάτης ανά IP.
Δείτε ζωντανά τις τιμές για ΗΠΑ