ProxyV4

Selenium WebDriver и автентицирани проксија: што навистина работи

· Updated:

За автентикација на Selenium прокси е потребно заобиколно решение, бидејќи параметарот --proxy-server=http://ip:port на ChromeDriver не може да пренесе корисничко име и лозинка; Chrome го испушта вградениот user:pass и прикажува дијалог за најава што WebDriver не може да го пополни. Двете сигурни решенија се selenium-wire, кој управува со најавата на ProxyV4 во Python, и мала екстензија за Chrome што одговара на onAuthRequired во кој било јазик за Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Приватен IPv4 (датацентар)
🇺🇸 Соединети Американски Држави
На залиха
Од
1,10 US$ / IP / месец
Попусти на количина
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Купи во Соединети Американски Држави
Статички резиденцијален ISP
🇺🇸 Соединети Американски Држави
На залиха
Од
1,50 US$ / IP / месец
Попусти на количина
  • 1 IP2,25 US$
  • 3+ IP2,10 US$
  • 10+ IP2,00 US$
  • 25+ IP1,90 US$
  • 50+ IP1,80 US$
  • 100+ IP1,70 US$
  • 200+ IP1,60 US$
  • 500+ IP1,50 US$
Купи во Соединети Американски Држави
Проксија по платформа:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Споредба на опциите

МетодКако се конфигурираЗа што е соодветно
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Најбрзиот пат во Python; проксито може да се менува додека прелистувачот е отворен
Екстензија за автентикацијаЗипувана екстензија чија скрипта во позадина управува со chrome.webRequest.onAuthRequiredЕднакво за Java, C#, Python и undetected-chromedriver
Премин кон Playwrightbrowser.newContext({ proxy: { server, username, password } })Нови проекти; најавата за прокси е вградена, без екстензија

Што се случува со обичен --proxy-server

Chrome ја презема прокси-адресата од командната линија, но ги игнорира сите акредитиви внесени во неа. Кога проксито враќа одговор 407, Chrome отвора вграден прозорец за најава. Тој прозорец е надвор од DOM на страницата, па find_element не може да го види и скриптата чека сè додека не истече времето. Затоа, секој функционален метод ги проследува акредитивите на друго место освен преку параметарот.

Имајте предвид дека selenium-wire повеќе не се одржува активно. Сè уште работи за многу конфигурации, но за долгорочни проекти пристапот со екстензија или Playwright е посигурен избор.

Одржување ефикасност при стартување на Selenium со прокси

  • Поставете options.page_load_strategy = 'eager' за скриптата да продолжи штом DOM е подготвен, наместо да чека бавни надворешни скрипти
  • За headless извршување на Chrome 109 или понов користете --headless=new; екстензиите, вклучувајќи ја и онаа за автентикација, се однесуваат како во нормален прозорец
  • Исклучете го вчитувањето слики во поставките на Chrome кога ви е потребен само текст, како цени или наслови
  • Поставете го driver.quit() во try / finally блок за евентуален пад да не остави активни Chrome процеси

Пред да го зголемите обемот

Секоја WebDriver сесија е целосен прелистувач, па затоа доделете ѝ сопствена IP на секоја сесија доколку сајтот ги поврзува сметките според адреса. Приватниот IPv4 од ProxyV4 се изнајмува на еден корисник и ја задржува адресата при обновување, што ги одржува долготрајните тест-сметки на истата IP. Прво проверете ги новите проксија преку проверувачот на прокси за лоша линија да не се појави како збунувачки Selenium timeout.

Доколку извршувањето сè уште отвора страници од сопствената IP на серверот или запира поради грешка во тунелот, делот за Selenium во проксито не работи ги наведува вообичаените причини по редослед.

Чекор по чекор

  1. 1

    Инсталирајте selenium-wire

    Во вашата виртуелна околина извршете pip install selenium-wire.

  2. 2

    Дефинирајте го проксито

    Формирајте sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} од вашата ProxyV4 нарачка.

  3. 3

    Стартувајте Chrome со тие опции

    Креирајте го драјверот со driver = webdriver.Chrome(seleniumwire_options=sw_options), увезувајќи webdriver од seleniumwire.

  4. 4

    Проверете ја излезната IP

    Повикајте driver.get('https://proxyv4.com/api/my-ip') и потврдете дека страницата ја прикажува прокси-адресата.

Често поставувани прашања

Зошто --proxy-server=http://user:pass@ip:port се игнорира во ChromeOptions?

Chrome наменски ги отстранува акредитивите од вредноста --proxy-server. Проследете ги преку selenium-wire, екстензија со onAuthRequired или префрлете се на Playwright, кој директно прифаќа корисничко име и лозинка.

Може ли selenium-wire да промени прокси без рестартирање на прелистувачот?

Да. Доделете нов dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, и следните барања ќе го користат новото upstream прокси.

Дали екстензијата за автентикација работи во headless Chrome?

Да, со --headless=new. Стариот режим --headless не ги вчитуваше екстензиите на ист начин.

Selenium јавува timeout на секоја страница преку проксито. Што понатаму?

Вчитајте ја IP крајната точка со cURL користејќи ги истите акредитиви. Доколку и cURL падне, проблемот е во линијата или портата; водичот proxy timeout guide наведува што да проверите.

Извори

Стабилни IP-адреси за Selenium сесии

Приватни IPv4 во 7 земји и статични ISP во САД и Виетнам, со корисничко име и лозинка, неограничен сообраќај и еден корисник по IP.

Проверете ги цените за САД во живо

Related articles

Проксија по платформа
Проксија за веб-скрапинг: фиксен пул на IP-адреси со неограничен сообраќај
Проксија за веб-скрапинг за Python, Scrapy, Playwright и Selenium: пул од приватни IPv4 и статички ISP адреси, неограничен сообраќај, фиксна цена по IP.
Поставување прокси
Автентикација на Playwright прокси, една статичка IP по контекст
Доделете автентицирано HTTP(S) прокси на секој Playwright контекст во Node.js или Python, усогласете ги зоната и јазикот и потврдете ја излезната адреса.
Поставување прокси
Python requests преку автентицирано прокси, чекор по чекор
Испраќајте Python барања преку автентицирано HTTP(S) прокси: поставете proxies речник, поврзете Session, кодирајте лозинки, ротирајте листа и проверете IP.
Поставување прокси
Puppeteer со автентицирано прокси: знаменце за стартување плус најава
Автентикација на прокси во Puppeteer: прво работен пример со --proxy-server за адреса, page.authenticate() за најава, потоа SOCKS5, контексти и решенија.
Проксија по платформа
Проксија за следење SEO ранг: видете ја страницата со резултати како локален корисник
SEO проксија за следење ранг со приватна IPv4 во САД, ОК, Виетнам, Јапонија и уште 4 пазари, за рангирањата, пакетите и рекламите да се како кај локалците.
Проксија по платформа
Amazon продавачки проксија што на секоја сметка ѝ даваат трајна адреса
Amazon проксија за Seller Central, KDP и Merch: статички US ISP или приватни UK/Јапонија IPv4 за секоја сметка, резервирани само за вас и трајни при обнова.
IPV4 · united states
Пул од приватни IPv4 проксија во САД за скрејпинг, следење рангирање и проверка на реклами
Купете US приватни IPv4 проксија: статички датацентар IP, еден корисник по IP, неограничен сообраќај. За scraping, следење SERP и проверка на US огласи.
ISP · united states
Статично ISP прокси во САД: Домашна IP-адреса што никогаш не се менува
US статички ISP проксија на IP адреси регистрирани кај домашни провајдери. Една фиксна американска IP по сметка за Amazon продавачи, реклами и Instagram.