ProxyV4

Selenium WebDriver na mawakala waliothibitishwa: kinachofanya kazi

· Updated:

Uthibitishaji wa wakala wa Selenium unahitaji suluhisho mbadala, kwa sababu bendera ya ChromeDriver ya --proxy-server=http://ip:port haiwezi kubeba jina la mtumiaji na nywila; Chrome huondoa user:pass ya ndani na huonyesha kisanduku cha kuingia ambacho WebDriver haiwezi kujaza. Masuluhisho mawili ya kuaminika ni selenium-wire, ambayo hushughulikia kuingia kwa ProxyV4 katika Python, na kiendelezi kidogo cha Chrome kinachojibu onAuthRequired katika lugha yoyote ya Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
IPv4 Binafsi (kituo cha data)
🇺🇸 Marekani
Zinapatikana
Kuanzia
US$ 1.10 / IP / mwezi
Punguzo la kiasi
  • IP 1US$ 1.85
  • IP 3+US$ 1.70
  • IP 10+US$ 1.60
  • IP 25+US$ 1.50
  • IP 50+US$ 1.40
  • IP 100+US$ 1.30
  • IP 200+US$ 1.20
  • IP 500+US$ 1.10
Nunua Marekani
ISP tuli ya makazi
🇺🇸 Marekani
Zinapatikana
Kuanzia
US$ 1.50 / IP / mwezi
Punguzo la kiasi
  • IP 1US$ 2.25
  • IP 3+US$ 2.10
  • IP 10+US$ 2.00
  • IP 25+US$ 1.90
  • IP 50+US$ 1.80
  • IP 100+US$ 1.70
  • IP 200+US$ 1.60
  • IP 500+US$ 1.50
Nunua Marekani

Ulinganisho wa machaguo

NjiaJinsi unavyoisanidiInapofaa zaidi
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Njia ya haraka zaidi katika Python; wakala anaweza kubadilishwa wakati kivinjari kikiwa wazi
Kiendelezi cha uthibitishajiKiendelezi kilichofungashwa ambacho skripti yake ya usuli hushughulikia chrome.webRequest.onAuthRequiredJava, C#, Python na undetected-chromedriver vivyo hivyo
Hamia kwenye Playwrightbrowser.newContext({ proxy: { server, username, password } })Miradi mipya; kuingia kwa wakala kumepachikwa ndani, hakuna kiendelezi

Kinachotokea unapotumia --proxy-server ya kawaida

Chrome huchukua anwani ya wakala kutoka kwenye mstari wa amri lakini hupuuzia stakabadhi zozote zilizoandikwa ndani yake. Wakala anapojibu 407, Chrome hufungua dirisha asilia la kuingia. Dirisha hilo liko nje ya DOM ya ukurasa, kwa hivyo find_element haiwezi kuliona na skripti hungoja hadi muda wake kuisha. Kwa hivyo, kila njia inayofanya kazi hutoa stakabadhi mahali pengine tofauti na bendera hiyo.

Kumbuka kuwa selenium-wire haitunzwi tena kikamilifu. Bado inafanya kazi kwa mipangilio mingi, lakini kwa miradi ya muda mrefu mbinu ya kiendelezi au Playwright ndiyo chaguo salama zaidi.

Kudumisha ufanisi wa utekelezaji wa Selenium kupitia wakala

  • Weka options.page_load_strategy = 'eager' ili skripti iendelee mara tu DOM inapokuwa tayari badala ya kusubiri skripti za wahusika wengine zilizo polepole
  • Kwa utekelezaji usio na kiolesura kwenye Chrome 109 au mpya zaidi tumia --headless=new; viendelezi, ikiwa ni pamoja na kiendelezi cha uthibitishaji, hufanya kazi kama katika dirisha la kawaida
  • Zima upakiaji wa picha katika mapendeleo ya Chrome unapohitaji maandishi pekee kama vile bei au vichwa
  • Weka driver.quit() ndani ya kizuizi cha try / finally ili hitilafu yoyote isiziache programu za Chrome zikifanya kazi chini kwa chini

Kabla ya kuongeza kiwango cha matumizi

Kila kipindi cha WebDriver ni kivinjari kamili, kwa hivyo kipe kila kipindi IP yake ikiwa tovuti inahusisha akaunti kulingana na anwani. IPv4 ya faragha ya ProxyV4 hukodishwa kwa mteja mmoja na huhifadhi anwani yake unapofanya upya, jambo linalobakiza akaunti za majaribio za muda mrefu kwenye IP ile ile. Jaribu proksi mpya kupitia kikagua proksi kwanza ili laini mbovu isionekane kama kuisha kwa muda kwa Selenium kunakochanganya.

Ikiwa mchakato bado unafungua kurasa kutoka kwa IP ya seva yenyewe au unakwama kwenye hitilafu ya tunnel, sehemu ya Selenium katika proksi haifanyi kazi huorodhesha visababishi vya kawaida kwa mpangilio.

Hatua kwa hatua

  1. 1

    Sakinisha selenium-wire

    Katika mazingira yako ya mtandaoni, endesha pip install selenium-wire.

  2. 2

    Eleza wakala

    Unda sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} kutoka kwenye agizo lako la ProxyV4.

  3. 3

    Anzisha Chrome ukitumia machaguo hayo

    Unda kiendeshi kwa kutumia driver = webdriver.Chrome(seleniumwire_options=sw_options), ukileta webdriver kutoka kwa seleniumwire.

  4. 4

    Thibitisha IP ya kutokea

    Wito driver.get('https://proxyv4.com/api/my-ip') na uhakikishe kuwa ukurasa unaonyesha anwani ya wakala.

Maswali yanayoulizwa mara kwa mara

Kwanini --proxy-server=http://user:pass@ip:port inapuuzwa katika ChromeOptions?

Chrome huondoa stakabadhi kutoka kwa thamani ya --proxy-server kwa makusudi. Zitoe kupitia selenium-wire, kiendelezi cha onAuthRequired, au hamia kwenye Playwright, ambayo inakubali jina la mtumiaji na nywila moja kwa moja.

Je, selenium-wire inaweza kubadilisha wakala bila kuanzisha upya kivinjari?

Ndiyo. Weka kamusi mpya, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, na maombi yanayofuata yatatumia wakala mpya wa mkondo wa juu.

Je, kiendelezi cha uthibitishaji kinafanya kazi katika Chrome isiyo na kiolesura?

Ndiyo, ukiwa na --headless=new. Hali ya zamani ya --headless haikupakia viendelezi kwa njia sawa.

Muda wa Selenium unaisha kwenye kila ukurasa kupitia wakala. Nini kifuate?

Pakia kikomo cha IP ukitumia curl ukiwa na stakabadhi zile zile. Ikiwa curl itashindwa pia, laini au mlango ndio tatizo; mwongozo wa kuisha kwa muda wa wakala unaorodhesha mambo ya kuangalia.

Vyanzo

IP thabiti kwa vipindi vya Selenium

IPv4 ya faragha katika nchi 7 na ISP tulivu nchini Marekani na Vietnam, zikiwa na mtumiaji na nywila, bila kikomo cha data na mteja mmoja kwa kila IP.

Angalia bei za sasa za Marekani

Related articles

Proksi kwa jukwaa
Proksi za web scraping: kundi thabiti la IP zenye data isiyo na kipimo
Proksi za web scraping za Python, Scrapy, Playwright na Selenium: kundi la anwani binafsi za IPv4 na ISP tulivu, data isiyo na kikomo, bei maalum kwa kila IP.
Usanidi wa proksi
Uthibitishaji wa proxy ya Playwright, IP moja tuli kwa kila muktadha
Patia kila muktadha wa Playwright proksi ya HTTP(S) yenye idhini katika Node.js au Python, linganisha eneo la saa na lugha na IP, na uhakiki anwani ya kutoka.
Usanidi wa proksi
Maombi ya Python requests kupitia proxy iliyothibitishwa, hatua kwa hatua
Tuma maombi ya Python kupitia proxy ya HTTP(S) iliyothibitishwa: tengeneza dict ya proxies, iweke kwenye Session, simba manenosiri, zungusha orodha, kagua IP.
Usanidi wa proksi
Puppeteer iliyo na proksi iliyothibitishwa: launch flag pamoja na kuingia
Uthibitishaji wa proksi ya Puppeteer, mfano halisi kwanza: --proxy-server kwa anwani, page.authenticate() ya kuingia, kisha SOCKS5, miktadha na marekebisho.
Proksi kwa jukwaa
Proksi za kufuatilia nafasi za SEO: tazama ukurasa wa matokeo anaoona mtafutaji wa ndani
Proksi za kufuatilia nafasi za SEO zenye IPv4 binafsi US, UK, Vietnam, Japan na masoko mengine 4, ili nafasi na matangazo vilingane na ya wenyeji.
Proksi kwa jukwaa
Proksi za wauzaji wa Amazon zinazopa kila akaunti anwani ya kudumu
Proksi za wauzaji wa Amazon kwa Seller Central, KDP na Merch: ISP tuli ya US au IPv4 binafsi ya UK/Japan kwa akaunti, yako pekee na hubaki unapoihuisha.
IPV4 · united states
Mkusanyiko wa Proxy Binafsi za IPv4 za Marekani kwa Scraping, Ufuatiliaji wa Nafasi na Ukaguzi wa Matangazo
Nunua proxy binafsi za IPv4 za Marekani: IP tuli za datacenter, mteja mmoja kwa IP, bandwidth bila kikomo. Zinafaa kwa scraping, SERP na ukaguzi wa matangazo.
ISP · united states
Proxy Tuli ya ISP ya Marekani: IP Iliyosajiliwa ya Nyumbani Isiyobadilika Kamwe
Proxy tuli za ISP za US kwenye IP za watoa huduma za nyumbani. IP moja ya Marekani isiyobadilika kwa wauzaji wa Amazon, akaunti za matangazo na Instagram.