ProxyV4

Selenium WebDriver болон нэвтрэлттэй прокси: юу үр дүнтэй ажилладаг вэ

· Updated:

ChromeDriver-ийн --proxy-server=http://ip:port туг нь хэрэглэгчийн нэр болон нууц үг дамжуулах боломжгүй байдаг тул Selenium проксийн нэвтрэлтэд тойрох арга хэрэгтэй болдог; Chrome нь бичсэн user:pass-ийг хаяж, WebDriver бөглөж чадахгүй нэвтрэх цонх гаргаж ирдэг. Найдвартай хоёр шийдэл нь Python дээр ProxyV4-ийн нэвтрэлтийг зохицуулдаг selenium-wire, мөн Selenium-ийн ямар ч хэл дээр onAuthRequired-д хариулдаг жижиг Chrome өргөтгөл юм.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Хувийн IPv4 (дата төв)
🇺🇸 Америкийн Нэгдсэн Улс
Бэлэн байгаа
Эхлэх үнэ
$ 1.10 / IP / сар
Тоо хэмжээний хөнгөлөлт
  • 1 IP$ 1.85
  • 3+ IP$ 1.70
  • 10+ IP$ 1.60
  • 25+ IP$ 1.50
  • 50+ IP$ 1.40
  • 100+ IP$ 1.30
  • 200+ IP$ 1.20
  • 500+ IP$ 1.10
Америкийн Нэгдсэн Улс худалдаж авах
Статик residential ISP
🇺🇸 Америкийн Нэгдсэн Улс
Бэлэн байгаа
Эхлэх үнэ
$ 1.50 / IP / сар
Тоо хэмжээний хөнгөлөлт
  • 1 IP$ 2.25
  • 3+ IP$ 2.10
  • 10+ IP$ 2.00
  • 25+ IP$ 1.90
  • 50+ IP$ 1.80
  • 100+ IP$ 1.70
  • 200+ IP$ 1.60
  • 500+ IP$ 1.50
Америкийн Нэгдсэн Улс худалдаж авах
Платформоорх прокси:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Хувилбаруудын харьцуулалт

АргаХэрхэн тохируулахТохиромжтой хэрэглээ
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Python дээрх хамгийн хурдан арга; хөтөч нээлттэй байх үед ч проксиг солих боломжтой
Нэвтрэлтийн өргөтгөлФон скрипт нь chrome.webRequest.onAuthRequired-ийг боловсруулдаг zip өргөтгөлJava, C#, Python болон undetected-chromedriver-т бүгдэд нь тохиромжтой
Playwright руу шилжихbrowser.newContext({ proxy: { server, username, password } })Шинэ төслүүдэд; өргөтгөл ашиглахгүйгээр проксийн нэвтрэлт суурилагдсан байдаг

Энгийн --proxy-server ашиглахад юу болдог вэ

Chrome нь командын мөрөөс прокси хаягийг авдаг боловч дотор нь бичсэн нэвтрэх мэдээллийг үл тоодог. Прокси нь 407 хариу өгөх үед Chrome өөрийн системийн нэвтрэх цонхыг нээдэг. Энэ цонх нь хуудасны DOM-оос гадуур байдаг тул find_element түүнийг харж чадахгүй бөгөөд скрипт хугацаа нь дуустал (timeout) хүлээдэг. Иймээс бодитоор ажилладаг бүх аргууд нэвтрэх мэдээллийг тугнаас өөр замаар дамжуулдаг.

selenium-wire төслийг цаашид идэвхтэй хөгжүүлж дэмжихээ больсныг анхаарна уу. Энэ нь олон тохиргоонд ажилласан хэвээр байгаа ч урт хугацааны төслүүдэд өргөтгөлийн арга эсвэл Playwright ашиглах нь илүү найдвартай сонголт юм.

Прокситой Selenium-ийн ажиллагааг үр ашигтай байлгах

  • Гуравдагч талын удаан скриптүүдийг хүлээхийн оронд DOM бэлэн болмогц скриптийг үргэлжлүүлэхийн тулд options.page_load_strategy = 'eager' гэж тохируулах
  • Chrome 109 буюу түүнээс хойшхи хувилбар дээр headless горимд ажиллуулахдаа --headless=new-ийг ашиглаарай; энэ үед нэвтрэлтийн өргөтгөл зэрэг бүх өргөтгөлүүд энгийн цонх шиг ажиллана
  • Үнэ эсвэл гарчиг гэх мэт зөвхөн текст хэрэгтэй үед Chrome-ийн тохиргооноос зураг ачаалахыг идэвхгүй болгох
  • Скрипт алдаа зааж гацах үед цаана нь Chrome-ийн процессууд үлдэхээс сэргийлж driver.quit()-ийг try / finally блокт оруулах

Хэрэглээгээ өргөтгөхөөс өмнө

WebDriver сесс бүр нь бүрэн хэмжээний хөтөч тул хэрэв тухайн сайт бүртгэлүүдийг хаягаар нь холбож үздэг бол сесс бүрд өөрийн гэсэн IP олгоорой. ProxyV4 хувийн IPv4 нь зөвхөн нэг хэрэглэгчид түрээслэгддэг бөгөөд хугацааг нь сунгахад хаягаа хадгалдаг тул удаан ажиллах туршилтын бүртгэлүүдийг нэг IP дээр найдвартай байлгадаг. Гэмтэлтэй шугам нь ойлгомжгүй Selenium timeout алдаа болж харагдахаас сэргийлж, шинэ проксинуудыг эхлээд прокси шалгагч-аар шалгаарай.

Хэрэв ажиллуулах явцад хуудсыг серверийн өөрийн IP-аас нээсэн хэвээр байх эсвэл tunnel алдаа заан зогсвол прокси ажиллахгүй байх хуудасны Selenium хэсэгт нийтлэг шалтгаануудыг дарааллаар нь жагсаасан болно.

Алхам алхмаар

  1. 1

    selenium-wire суулгах

    Виртуал орчиндоо pip install selenium-wire командыг ажиллуулна уу.

  2. 2

    Прокси тохиргоогоо бэлтгэх

    Өөрийн ProxyV4 захиалгын мэдээллээр sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} тохиргоог үүсгэнэ үү.

  3. 3

    Тэдгээр тохиргоотойгоор Chrome-ийг эхлүүлэх

    webdriver-ийг seleniumwire-ээс импортолж, driver = webdriver.Chrome(seleniumwire_options=sw_options) кодоор драйверийг үүсгэнэ үү.

  4. 4

    Гаралтын IP-г шалгах

    driver.get('https://proxyv4.com/api/my-ip')-ийг дуудаж, хуудас дээр проксийн хаяг харагдаж байгааг баталгаажуулна уу.

Түгээмэл асуултууд

ChromeOptions дотор --proxy-server=http://user:pass@ip:port яагаад ажиллахгүй байна вэ?

Chrome нь цаанаасаа --proxy-server утгаас нэвтрэх мэдээллийг автоматаар хасдаг. Тэдгээрийг selenium-wire эсвэл onAuthRequired өргөтгөлөөр дамжуулах, эсвэл хэрэглэгчийн нэр, нууц үгийг шууд хүлээж авдаг Playwright руу шилжинэ үү.

selenium-wire нь хөтчийг дахин эхлүүлэхгүйгээр проксиг сольж чадах уу?

Тийм. driver.proxy = {'http': 'http://...', 'https': 'http://...'} гэж шинэ dict онооход дараагийн хүсэлтүүд шинэ проксигоор дамжих болно.

Нэвтрэлтийн өргөтгөл нь headless Chrome дээр ажиллах уу?

Тийм, --headless=new горимд ажиллана. Хуучин --headless горим нь өргөтгөлүүдийг ийм байдлаар ачаалдаггүй байсан.

Selenium нь проксигоор хуудас бүр дээр хугацаа нь дуусаж (timeout) байна. Одоо яах вэ?

Ижил нэвтрэх мэдээллээр curl ашиглан IP endpoint руу хандаж үзнэ үү. Хэрэв curl мөн адил амжилтгүй болбол шугам эсвэл порт асуудалтай байна гэсэн үг; юуг шалгах хэрэгтэйг проксийн хугацаа хэтрэх алдааны гарын авлага дотор жагсаасан байгаа.

Эх сурвалж

Selenium сессүүдэд зориулсан тогтвортой IP-ууд

7 улсын хувийн IPv4 болон АНУ, Вьетнам дахь статик ISP, хэрэглэгчийн нэр ба нууц үгтэй, хязгааргүй дататай, нэг IP-г нэг л хэрэглэгч ашиглана.

АНУ-ын одоогийн үнийг харах

Related articles

Платформоорх прокси
Веб скрапинг хийх прокси: хязгааргүй дататай тогтмол IP сан
Python, Scrapy, Playwright, Selenium-д зориулсан веб скрапинг прокси: хязгааргүй трафик, хувийн IPv4 болон статик ISP хаягийн сан, IP тутамд тогтмол үнэтэй.
Прокси тохиргоо
Playwright прокси баталгаажуулалт, context бүрд нэг статик IP
Playwright browser context бүрд Node.js эсвэл Python-оор баталгаажуулсан HTTP(S) прокси холбож, цагийн бүс, хэлийг IP-д тааруулан гаралтын хаягаа шалгаарай.
Прокси тохиргоо
Баталгаажуулалттай проксигоор дамжуулан Python requests ашиглах алхамчилсан заавар
Баталгаажуулалттай HTTP(S) проксигоор Python хүсэлт илгээх: proxies dict үүсгэх, Session-д холбох, тусгай нууц үг кодлох, жагсаалт сэлгэх, IP шалгах.
Прокси тохиргоо
Нэвтрэлттэй прокси бүхий Puppeteer: эхлүүлэх туг ба нэвтрэлт
Puppeteer прокси нэвтрэлт, эхлээд ажиллах жишээ: хаягт --proxy-server, нэвтрэхэд page.authenticate(), дараа нь SOCKS5, контекст болон алдааны засварууд.
Платформоорх прокси
SEO зэрэглэл хянах прокси: нутгийн хэрэглэгчийн хардаг илэрцийн хуудсыг хараарай
АНУ, Их Британи, Вьетнам, Япон зэрэг 7 зах зээлийн хувийн IPv4 проксигоор SEO зэрэглэл, орон нутгийн илэрц, зарыг нутгийн хэрэглэгчийн хардаг шиг шалгаарай.
Платформоорх прокси
Данс бүрд байнгын хаяг олгох Amazon худалдагчийн прокси
Seller Central, KDP, Merch-ийн Amazon прокси: данс бүрд АНУ-ын статик ISP эсвэл Их Британи/Японы хувийн IPv4. Зөвхөн танд түрээслүүлж, сунгахад хадгална.
IPV4 · united states
АНУ-ын хувийн IPv4 прокси сан: Өгөгдөл цуглуулах, эрэмбэ хянах, зар шалгахад
АНУ-ын хувийн IPv4 прокси худалдан аваарай: хязгааргүй дата, 1 IP-д 1 хэрэглэгч, Америкийн статик дата төвийн IP. Скрапинг, SERP болон зар шалгахад зориулав.
ISP · united states
АНУ-ын статик ISP прокси: Хэзээ ч өөрчлөгдөхгүй, гэрээр бүртгэлтэй IP
Хэрэглэгчийн интернэт үзүүлэгчид бүртгэлтэй АНУ-ын статик ISP прокси. Amazon борлуулагч, зарын данс болон Instagram-д зориулсан тогтмол АНУ-ын IP хаяг.