ProxyV4

Selenium WebDriver და ავტორიზებული პროქსები: რა მუშაობს რეალურად

· Updated:

Selenium-ში პროქსის ავტორიზაციას შემოვლითი გზა სჭირდება, რადგან ChromeDriver-ის ალამი --proxy-server=http://ip:port ვერ გადასცემს მომხმარებლის სახელსა და პაროლს; Chrome აიგნორებს ჩაშენებულ user:pass-ს და აჩვენებს ავტორიზაციის ფანჯარას, რომლის შევსებაც WebDriver-ს არ შეუძლია. პრობლემის გადაჭრის ორი საიმედო გზა არსებობს: selenium-wire, რომელიც ProxyV4-ის ავტორიზაციას Python-ში ამუშავებს, და Chrome-ის მცირე გაფართოება, რომელიც პასუხობს onAuthRequired-ს Selenium-ის ნებისმიერ ენაზე.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
პირადი IPv4 (დატაცენტრი)
🇺🇸 ამერიკის შეერთებული შტატები
მარაგშია
დან
1,10 US$ / IP / თვეში
ფასდაკლება რაოდენობაზე
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
შეიძინეთ ამერიკის შეერთებული შტატები
სტატიკური რეზიდენციული ISP
🇺🇸 ამერიკის შეერთებული შტატები
მარაგშია
დან
1,50 US$ / IP / თვეში
ფასდაკლება რაოდენობაზე
  • 1 IP2,25 US$
  • 3+ IP2,10 US$
  • 10+ IP2,00 US$
  • 25+ IP1,90 US$
  • 50+ IP1,80 US$
  • 100+ IP1,70 US$
  • 200+ IP1,60 US$
  • 500+ IP1,50 US$
შეიძინეთ ამერიკის შეერთებული შტატები
პროქსი პლატფორმების მიხედვით:Web Scraping & CrawlingSEO & SERP TrackingAmazon

ვარიანტების შედარება

მეთოდიროგორ კონფიგურირდებასად გამოდგება
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}ყველაზე სწრაფი გზა Python-ში; პროქსის შეცვლა შესაძლებელია გახსნილი ბრაუზერის დროსაც
Auth გაფართოებადაარქივებული (ZIP) გაფართოება, რომლის ფონური სკრიპტიც ამუშავებს chrome.webRequest.onAuthRequired-სერთნაირად გამოდგება Java-სთვის, C#-ისთვის, Python-ისთვის და undetected-chromedriver-ისთვის
Playwright-ზე გადასვლაbrowser.newContext({ proxy: { server, username, password } })ახალი პროექტებისთვის; პროქსის ავტორიზაცია ჩაშენებულია, გაფართოება არ სჭირდება

რა ხდება ჩვეულებრივი --proxy-server-ის გამოყენებისას

Chrome პროქსის მისამართს ბრძანების სტრიქონიდან იღებს, მაგრამ მასში მითითებულ ნებისმიერ მონაცემს უგულებელყოფს. როდესაც პროქსი აბრუნებს 407 პასუხს, Chrome სისტემურ ავტორიზაციის ფანჯარას ხსნის. ეს ფანჯარა გვერდის DOM-ის მიღმაა, ამიტომ find_element მას ვერ ხედავს და სკრიპტი ტაიმაუტამდე ელოდება. შესაბამისად, ყველა მომუშავე მეთოდი მონაცემებს ალმის მიღმა, სხვა გზით აწვდის.

გაითვალისწინეთ, რომ selenium-wire აღარ ვითარდება აქტიურად. ის კვლავ მუშაობს მრავალ კონფიგურაციაში, თუმცა გრძელვადიანი პროექტებისთვის გაფართოების მიდგომა ან Playwright უფრო საიმედო არჩევანია.

პროქსით Selenium-ის გაშვებების ეფექტურობის შენარჩუნება

  • მიუთითეთ options.page_load_strategy = 'eager', რათა სკრიპტმა მუშაობა DOM-ის მომზადებისთანავე გააგრძელოს და არ დაელოდოს ნელ მესამე მხარის სკრიპტებს
  • Chrome 109 ან უფრო ახალ ვერსიაზე headless რეჟიმში გაშვებისთვის გამოიყენეთ --headless=new; გაფართოებები, მათ შორის ავტორიზაციის გაფართოება, ჩვეულებრივი ფანჯრის მსგავსად იმუშავებს
  • გათიშეთ სურათების ჩატვირთვა Chrome-ის პარამეტრებში, როდესაც მხოლოდ ტექსტი გჭირდებათ, მაგალითად ფასები ან სათაურები
  • ჩასვით driver.quit() ბლოკში try / finally, რათა შეცდომის გამო შეწყვეტისას Chrome-ის პროცესები ფონურ რეჟიმში არ დარჩეს

სანამ მასშტაბირებაზე გადახვიდეთ

WebDriver-ის თითოეული სესია სრულფასოვანი ბრაუზერია, ამიტომ თითოეულ სესიას მიანიჭეთ საკუთარი IP, თუ საიტი ანგარიშებს მისამართის მიხედვით აკავშირებს. ProxyV4-ის პრივატული IPv4 ქირავდება ერთ მომხმარებელზე და განახლებისას ინარჩუნებს თავის მისამართს, რაც ხანგრძლივ სატესტო ანგარიშებს იმავე IP-ზე ტოვებს. ახალი პროქსიები ჯერ გაატარეთ პროქსის შემმოწმებელში, რათა გაუმართავი ხაზი Selenium-ის გაურკვეველ timeout-ად არ გამოჩნდეს.

თუ გაშვებისას გვერდები მაინც სერვერის საკუთარი IP-დან იხსნება ან პროცესი tunnel შეცდომაზე ჩერდება, პროქსი არ მუშაობს გვერდის Selenium-ის სექციაში თანმიმდევრობით არის ჩამოთვლილი ძირითადი მიზეზები.

ეტაპობრივი ინსტრუქცია

  1. 1

    დააინსტალირეთ selenium-wire

    თქვენს ვირტუალურ გარემოში გაუშვით pip install selenium-wire.

  2. 2

    აღწერეთ პროქსი

    შეადგინეთ sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} თქვენი ProxyV4-ის შეკვეთის მიხედვით.

  3. 3

    გაუშვით Chrome ამ პარამეტრებით

    შექმენით დრაივერი ბრძანებით driver = webdriver.Chrome(seleniumwire_options=sw_options), სადაც webdriver-ის იმპორტი ხდება seleniumwire-დან.

  4. 4

    შეამოწმეთ გამავალი IP

    გამოიძახეთ driver.get('https://proxyv4.com/api/my-ip') და დარწმუნდით, რომ გვერდზე პროქსის მისამართი ჩანს.

ხშირად დასმული კითხვები

რატომ უგულებელყოფს ChromeOptions მნიშვნელობას --proxy-server=http://user:pass@ip:port?

Chrome წინასწარ განსაზღვრული წესით შლის ავტორიზაციის მონაცემებს --proxy-server-ის მნიშვნელობიდან. მიაწოდეთ ისინი selenium-wire-ის ან onAuthRequired გაფართოების მეშვეობით, ან გადადით Playwright-ზე, რომელიც პირდაპირ იღებს მომხმარებლის სახელსა და პაროლს.

შეუძლია selenium-wire-ს პროქსის შეცვლა ბრაუზერის გადატვირთვის გარეშე?

დიახ. მიანიჭეთ ახალი dict: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, და შემდგომი მოთხოვნები ახალ პროქსის გამოიყენებს.

მუშაობს ავტორიზაციის გაფართოება headless Chrome-ში?

დიახ, პარამეტრით --headless=new. ძველი --headless რეჟიმი გაფართოებებს ამგვარად არ ტვირთავდა.

Selenium-ს პროქსის გავლით ყველა გვერდზე ტაიმაუტი აქვს. რა გავაკეთოთ?

ჩატვირთეთ IP-ის ენდპოინტი cURL-ით იგივე მონაცემების გამოყენებით. თუ cURL-იც ვერ უკავშირდება, პრობლემა ხაზში ან პორტშია; პროქსის ტაიმაუტის გზამკვლევში ჩამოთვლილია, რა უნდა შემოწმდეს.

წყაროები

სტაბილური IP-ები Selenium-ის სესიებისთვის

პირადი IPv4 7 ქვეყანაში და სტატიკური ISP აშშ-სა და ვიეტნამში, მომხმარებლითა და პაროლით, შეუზღუდავი ტრაფიკით და მხოლოდ ერთი კლიენტით თითო IP-ზე.

შეამოწმეთ აშშ-ის აქტუალური ფასები

Related articles

პროქსი პლატფორმების მიხედვით
პროქსი ვებ-სკრეიპინგისთვის: IP-ების ფიქსირებული პული ულიმიტო ტრაფიკით
ვებ-სკრეიპინგის პროქსი Python, Scrapy, Playwright და Selenium-ისთვის: პრივატული IPv4 და სტატიკური ISP პული, ულიმიტო ტრაფიკი და ფიქსირებული ფასი თითო IP-ზე.
პროქსის გამართვა
Playwright პროქსის ავტორიზაცია, ერთი სტატიკური IP თითო კონტექსტზე
მიანიჭეთ Playwright-ის თითოეულ კონტექსტს ავტორიზებული HTTP(S) პროქსი Node.js ან Python-ში, მოარგეთ დროის ზონა და ლოკალი IP-ს და შეამოწმეთ გამავალი მისამართი.
პროქსის გამართვა
Python requests ავთენტიფიცირებული პროქსით, ეტაპობრივად
გაგზავნეთ Python-ის მოთხოვნები ავტორიზებული HTTP(S) პროქსით: შექმენით proxies dict, მიაბით Session-ს, დააკოდირეთ რთული პაროლები, შეცვალეთ სია და შეამოწმეთ IP.
პროქსის გამართვა
Puppeteer ავტორიზებული პროქსით: გაშვების ფლაგი და ავტორიზაცია
Puppeteer-ის პროქსის ავთენტიფიკაცია: მუშა მაგალითი, --proxy-server მისამართისთვის, page.authenticate() შესასვლელად, შემდეგ SOCKS5, კონტექსტები და გამოსწორება.
პროქსი პლატფორმების მიხედვით
პროქსი SEO პოზიციების თრექინგისთვის: ნახეთ ძიების შედეგები ადგილობრივი მომხმარებლის თვალით
SEO პოზიციების თრექინგის პროქსი პრივატული IPv4-ით აშშ-ში, ბრიტანეთში, ვიეტნამში, იაპონიასა და 4 სხვა ბაზარზე: ნახეთ ის, რასაც ადგილობრივი მომხმარებელი ხედავს.
პროქსი პლატფორმების მიხედვით
Amazon seller პროქსები, რომლებიც თითოეულ ანგარიშს მუდმივ მისამართს ანიჭებს
Amazon seller პროქსი Seller Central, KDP და Merch-ისთვის: აშშ-ის სტატიკური ISP ან UK/იაპონიის პირადი IPv4, მხოლოდ თქვენთვის, უცვლელი განახლებისას.
IPV4 · united states
აშშ-ის პირადი IPv4 პროქსი პული სკრეიპინგისთვის, პოზიციების მონიტორინგისა და რეკლამის შემოწმებისთვის
იყიდეთ აშშ-ის პირადი IPv4 პროქსი: სტატიკური datacenter IP-ები, ერთი კლიენტი IP-ზე, ულიმიტო ტრაფიკი. სკრეიპინგისთვის, SERP-ისა და აშშ-ის რეკლამის შესამოწმებლად.
ISP · united states
აშშ-ის სტატიკური ISP პროქსი: სახლში რეგისტრირებული IP, რომელიც არასდროს იცვლება
აშშ სტატიკური ISP პროქსი საცალო ინტერნეტ-პროვაიდერების IP-ებით. ერთი ფიქსირებული ამერიკული IP თითო ექაუნთზე Amazon-ის, რეკლამისა და Instagram-ისთვის.