ProxyV4

Selenium WebDriver και proxies με ταυτοποίηση: τι λειτουργεί

· Updated:

Η ταυτοποίηση proxy στο Selenium απαιτεί παράκαμψη, καθώς η παράμετρος --proxy-server=http://ip:port του ChromeDriver δεν μπορεί να μεταφέρει όνομα χρήστη και κωδικό πρόσβασης. Ο Chrome απορρίπτει το ενσωματωμένο user:pass και εμφανίζει ένα παράθυρο διαλόγου σύνδεσης που το WebDriver δεν μπορεί να συμπληρώσει. Οι δύο αξιόπιστες λύσεις είναι το selenium-wire, το οποίο διαχειρίζεται τη σύνδεση ProxyV4 στην Python, και μια μικρή επέκταση Chrome που αποκρίνεται στο onAuthRequired σε οποιαδήποτε γλώσσα του Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Private IPv4 (datacenter)
🇺🇸 Ηνωμένες Πολιτείες
Σε απόθεμα
Από
1,10 $ / IP / μήνα
Εκπτώσεις ποσότητας
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Αγορά Ηνωμένες Πολιτείες
Static residential ISP
🇺🇸 Ηνωμένες Πολιτείες
Σε απόθεμα
Από
1,50 $ / IP / μήνα
Εκπτώσεις ποσότητας
  • 1 IP2,25 $
  • 3+ IP2,10 $
  • 10+ IP2,00 $
  • 25+ IP1,90 $
  • 50+ IP1,80 $
  • 100+ IP1,70 $
  • 200+ IP1,60 $
  • 500+ IP1,50 $
Αγορά Ηνωμένες Πολιτείες
Proxies ανά πλατφόρμα:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Σύγκριση επιλογών

ΜέθοδοςΠώς ρυθμίζεταιΙδανικό για
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Ο ταχύτερος τρόπος στην Python· το proxy μπορεί να αλλάξει ενώ το πρόγραμμα περιήγησης είναι ανοιχτό
Επέκταση ταυτοποίησηςΜια συμπιεσμένη επέκταση zip της οποίας το background script διαχειρίζεται το chrome.webRequest.onAuthRequiredΕξίσου κατάλληλο για Java, C#, Python και undetected-chromedriver
Μετάβαση σε Playwrightbrowser.newContext({ proxy: { server, username, password } })Νέα έργα· η σύνδεση proxy είναι ενσωματωμένη, χωρίς επέκταση

Τι συμβαίνει με το απλό --proxy-server

Ο Chrome λαμβάνει τη διεύθυνση του proxy από τη γραμμή εντολών, αλλά αγνοεί τα διαπιστευτήρια που αναγράφονται σε αυτήν. Όταν το proxy απαντά με 407, ο Chrome ανοίγει ένα εγγενές παράθυρο σύνδεσης. Αυτό το παράθυρο βρίσκεται εκτός του DOM της σελίδας, επομένως το find_element δεν μπορεί να το εντοπίσει και το script περιμένει μέχρι να λήξει το χρονικό όριο (timeout). Συνεπώς, κάθε λειτουργική μέθοδος παρέχει τα διαπιστευτήρια σε άλλο σημείο και όχι μέσω της παραμέτρου.

Σημειώστε ότι το selenium-wire δεν συντηρείται πλέον ενεργά. Εξακολουθεί να λειτουργεί για πολλές περιπτώσεις, αλλά για μακροχρόνια έργα, η χρήση επέκτασης ή το Playwright αποτελεί ασφαλέστερη επιλογή.

Διατήρηση της αποδοτικότητας στις εκτελέσεις του Selenium με proxy

  • Ορίστε το options.page_load_strategy = 'eager' ώστε το script να συνεχίζει μόλις το DOM είναι έτοιμο, αντί να περιμένει αργά scripts τρίτων
  • Για εκτελέσεις headless σε Chrome 109 ή νεότερο χρησιμοποιήστε το --headless=new· οι επεκτάσεις, συμπεριλαμβανομένης της επέκτασης ταυτοποίησης, λειτουργούν όπως σε ένα κανονικό παράθυρο
  • Απενεργοποιήστε τη φόρτωση εικόνων στις προτιμήσεις του Chrome όταν χρειάζεστε μόνο κείμενο, όπως τιμές ή τίτλους
  • Τοποθετήστε το driver.quit() σε ένα μπλοκ try / finally, ώστε σε περίπτωση σφάλματος να μην παραμένουν διεργασίες του Chrome στο σύστημα

Πριν αυξήσετε την κλίμακα

Κάθε συνεδρία WebDriver είναι ένα πλήρες πρόγραμμα περιήγησης, επομένως δώστε σε κάθε συνεδρία τη δική της IP εάν ο ιστότοπος συνδέει λογαριασμούς βάσει διεύθυνσης. Ένα private IPv4 του ProxyV4 εκμισθώνεται σε έναν μόνο πελάτη και διατηρεί τη διεύθυνσή του κατά την ανανέωση, διατηρώντας έτσι τους μακροχρόνιους δοκιμαστικούς λογαριασμούς στην ίδια IP. Ελέγξτε πρώτα τα νέα proxies μέσω του proxy checker, ώστε μια προβληματική γραμμή να μην εμφανιστεί ως ένα παραπλανητικό Selenium timeout.

Εάν μια εκτέλεση εξακολουθεί να ανοίγει σελίδες από την IP του ίδιου του διακομιστή ή σταματά σε σφάλμα tunnel, η ενότητα για το Selenium στο proxy not working παραθέτει τις συνήθεις αιτίες κατά σειρά.

Βήμα προς βήμα

  1. 1

    Εγκαταστήστε το selenium-wire

    Στο εικονικό σας περιβάλλον, εκτελέστε pip install selenium-wire.

  2. 2

    Ορίστε το proxy

    Δημιουργήστε το sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} από την παραγγελία σας στο ProxyV4.

  3. 3

    Εκκινήστε τον Chrome με αυτές τις επιλογές

    Δημιουργήστε τον driver με driver = webdriver.Chrome(seleniumwire_options=sw_options), εισάγοντας το webdriver από το seleniumwire.

  4. 4

    Ελέγξτε την IP εξόδου

    Καλέστε το driver.get('https://proxyv4.com/api/my-ip') και επιβεβαιώστε ότι η σελίδα εμφανίζει τη διεύθυνση του proxy.

Συχνές ερωτήσεις

Γιατί αγνοείται το --proxy-server=http://user:pass@ip:port στο ChromeOptions;

Ο Chrome αφαιρεί από σχεδιασμό τα διαπιστευτήρια από την τιμή του --proxy-server. Καταχωρίστε τα μέσω του selenium-wire, μιας επέκτασης onAuthRequired ή μεταβείτε στο Playwright, το οποίο δέχεται απευθείας όνομα χρήστη και κωδικό πρόσβασης.

Μπορεί το selenium-wire να αλλάξει proxy χωρίς επανεκκίνηση του προγράμματος περιήγησης;

Ναι. Αντιστοιχίστε ένα νέο dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, και τα επόμενα αιτήματα θα χρησιμοποιούν το νέο upstream proxy.

Λειτουργεί η επέκταση ταυτοποίησης σε headless Chrome;

Ναι, με --headless=new. Η παλιά λειτουργία --headless δεν φόρτωνε τις επεκτάσεις με τον ίδιο τρόπο.

Το Selenium εμφανίζει timeout σε κάθε σελίδα μέσω του proxy. Τι να κάνω;

Φορτώστε το endpoint της IP με το cURL χρησιμοποιώντας τα ίδια διαπιστευτήρια. Εάν αποτύχει και το cURL, το πρόβλημα βρίσκεται στη γραμμή ή στη θύρα· ο οδηγός για proxy timeout παραθέτει τι πρέπει να ελέγξετε.

Πηγές

Σταθερές IP για συνεδρίες Selenium

Ιδιωτικές IPv4 σε 7 χώρες και static ISP σε ΗΠΑ και Βιετνάμ, με όνομα χρήστη και κωδικό, απεριόριστη κίνηση και ένας πελάτης ανά IP.

Δείτε ζωντανά τις τιμές για ΗΠΑ

Related articles

Proxies ανά πλατφόρμα
Proxies για web scraping: σταθερό pool από IP με απεριόριστη κίνηση
Web scraping proxies για Python, Scrapy, Playwright και Selenium: pool private IPv4 και static ISP, απεριόριστο bandwidth, σταθερή χρέωση ανά IP.
Ρύθμιση proxy
Ταυτοποίηση proxy στο Playwright: μία στατική IP ανά context
Ορίστε ξεχωριστό HTTP(S) proxy με ταυτοποίηση ανά context στο Playwright (Node.js/Python), ρυθμίστε timezone και locale και επιβεβαιώστε την IP εξόδου.
Ρύθμιση proxy
Python requests μέσω authenticated proxy, βήμα προς βήμα
Χρησιμοποιήστε authenticated proxy στο Python requests: φτιάξτε το proxies dict, συνδέστε το σε Session, διαχειριστείτε κωδικούς και ελέγξτε την IP.
Ρύθμιση proxy
Puppeteer με authenticated proxy: flag εκκίνησης και σύνδεση
Ταυτοποίηση proxy στο Puppeteer με παράδειγμα: --proxy-server για διεύθυνση, page.authenticate() για είσοδο, καθώς και SOCKS5, contexts και επιδιορθώσεις.
Proxies ανά πλατφόρμα
Proxies για SEO rank tracking: δείτε τη σελίδα αποτελεσμάτων που βλέπει ένας τοπικός χρήστης
SEO rank tracking proxies με private IPv4 σε ΗΠΑ, ΗΒ, Βιετνάμ, Ιαπωνία και 4 ακόμη αγορές: κατατάξεις, local packs και διαφημίσεις όπως τις βλέπουν οι ντόπιοι.
Proxies ανά πλατφόρμα
Amazon seller proxies που δίνουν σε κάθε λογαριασμό μια μόνιμη διεύθυνση
Amazon seller proxies για Seller Central, KDP και Merch: στατική ISP ΗΠΑ ή private IPv4 UK/Ιαπωνίας ανά λογαριασμό, μόνο για εσάς, σταθερή σε κάθε ανανέωση.
IPV4 · united states
Δεξαμενή ιδιωτικών IPv4 Proxy ΗΠΑ για εξαγωγή δεδομένων, παρακολούθηση κατάταξης και ελέγχους διαφημίσεων
Αγοράστε private IPv4 proxy ΗΠΑ: στατικές datacenter IPs, ένας χρήστης ανά IP, απεριόριστο bandwidth. Για scraping, SERP tracking και έλεγχο διαφημίσεων ΗΠΑ.
ISP · united states
Στατικό ISP Proxy ΗΠΑ: Μια οικιακά καταχωρημένη IP που δεν αλλάζει ποτέ
Στατικά US ISP proxies σε IP οικιακών παρόχων. Μία σταθερή αμερικανική IP ανά λογαριασμό για πωλητές Amazon, διαφημιστικούς λογαριασμούς και Instagram.