Selenium WebDriver na mawakala waliothibitishwa: kinachofanya kazi
Na Timu ya Uhandisi ya ProxyV4 · Updated:
Uthibitishaji wa wakala wa Selenium unahitaji suluhisho mbadala, kwa sababu bendera ya ChromeDriver ya --proxy-server=http://ip:port haiwezi kubeba jina la mtumiaji na nywila; Chrome huondoa user:pass ya ndani na huonyesha kisanduku cha kuingia ambacho WebDriver haiwezi kujaza. Masuluhisho mawili ya kuaminika ni selenium-wire, ambayo hushughulikia kuingia kwa ProxyV4 katika Python, na kiendelezi kidogo cha Chrome kinachojibu onAuthRequired katika lugha yoyote ya Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- IP 1US$ 1.85
- IP 3+US$ 1.70
- IP 10+US$ 1.60
- IP 25+US$ 1.50
- IP 50+US$ 1.40
- IP 100+US$ 1.30
- IP 200+US$ 1.20
- IP 500+US$ 1.10
- IP 1US$ 2.25
- IP 3+US$ 2.10
- IP 10+US$ 2.00
- IP 25+US$ 1.90
- IP 50+US$ 1.80
- IP 100+US$ 1.70
- IP 200+US$ 1.60
- IP 500+US$ 1.50
Ulinganisho wa machaguo
| Njia | Jinsi unavyoisanidi | Inapofaa zaidi |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Njia ya haraka zaidi katika Python; wakala anaweza kubadilishwa wakati kivinjari kikiwa wazi |
| Kiendelezi cha uthibitishaji | Kiendelezi kilichofungashwa ambacho skripti yake ya usuli hushughulikia chrome.webRequest.onAuthRequired | Java, C#, Python na undetected-chromedriver vivyo hivyo |
| Hamia kwenye Playwright | browser.newContext({ proxy: { server, username, password } }) | Miradi mipya; kuingia kwa wakala kumepachikwa ndani, hakuna kiendelezi |
Kinachotokea unapotumia --proxy-server ya kawaida
Chrome huchukua anwani ya wakala kutoka kwenye mstari wa amri lakini hupuuzia stakabadhi zozote zilizoandikwa ndani yake. Wakala anapojibu 407, Chrome hufungua dirisha asilia la kuingia. Dirisha hilo liko nje ya DOM ya ukurasa, kwa hivyo find_element haiwezi kuliona na skripti hungoja hadi muda wake kuisha. Kwa hivyo, kila njia inayofanya kazi hutoa stakabadhi mahali pengine tofauti na bendera hiyo.
Kumbuka kuwa selenium-wire haitunzwi tena kikamilifu. Bado inafanya kazi kwa mipangilio mingi, lakini kwa miradi ya muda mrefu mbinu ya kiendelezi au Playwright ndiyo chaguo salama zaidi.
Kudumisha ufanisi wa utekelezaji wa Selenium kupitia wakala
- Weka
options.page_load_strategy = 'eager'ili skripti iendelee mara tu DOM inapokuwa tayari badala ya kusubiri skripti za wahusika wengine zilizo polepole - Kwa utekelezaji usio na kiolesura kwenye Chrome 109 au mpya zaidi tumia
--headless=new; viendelezi, ikiwa ni pamoja na kiendelezi cha uthibitishaji, hufanya kazi kama katika dirisha la kawaida - Zima upakiaji wa picha katika mapendeleo ya Chrome unapohitaji maandishi pekee kama vile bei au vichwa
- Weka
driver.quit()ndani ya kizuizi chatry / finallyili hitilafu yoyote isiziache programu za Chrome zikifanya kazi chini kwa chini
Kabla ya kuongeza kiwango cha matumizi
Kila kipindi cha WebDriver ni kivinjari kamili, kwa hivyo kipe kila kipindi IP yake ikiwa tovuti inahusisha akaunti kulingana na anwani. IPv4 ya faragha ya ProxyV4 hukodishwa kwa mteja mmoja na huhifadhi anwani yake unapofanya upya, jambo linalobakiza akaunti za majaribio za muda mrefu kwenye IP ile ile. Jaribu proksi mpya kupitia kikagua proksi kwanza ili laini mbovu isionekane kama kuisha kwa muda kwa Selenium kunakochanganya.
Ikiwa mchakato bado unafungua kurasa kutoka kwa IP ya seva yenyewe au unakwama kwenye hitilafu ya tunnel, sehemu ya Selenium katika proksi haifanyi kazi huorodhesha visababishi vya kawaida kwa mpangilio.
Hatua kwa hatua
- 1
Sakinisha selenium-wire
Katika mazingira yako ya mtandaoni, endesha
pip install selenium-wire. - 2
Eleza wakala
Unda
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}kutoka kwenye agizo lako la ProxyV4. - 3
Anzisha Chrome ukitumia machaguo hayo
Unda kiendeshi kwa kutumia
driver = webdriver.Chrome(seleniumwire_options=sw_options), ukiletawebdriverkutoka kwaseleniumwire. - 4
Thibitisha IP ya kutokea
Wito
driver.get('https://proxyv4.com/api/my-ip')na uhakikishe kuwa ukurasa unaonyesha anwani ya wakala.
Maswali yanayoulizwa mara kwa mara
Kwanini --proxy-server=http://user:pass@ip:port inapuuzwa katika ChromeOptions?
Chrome huondoa stakabadhi kutoka kwa thamani ya --proxy-server kwa makusudi. Zitoe kupitia selenium-wire, kiendelezi cha onAuthRequired, au hamia kwenye Playwright, ambayo inakubali jina la mtumiaji na nywila moja kwa moja.
Je, selenium-wire inaweza kubadilisha wakala bila kuanzisha upya kivinjari?
Ndiyo. Weka kamusi mpya, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, na maombi yanayofuata yatatumia wakala mpya wa mkondo wa juu.
Je, kiendelezi cha uthibitishaji kinafanya kazi katika Chrome isiyo na kiolesura?
Ndiyo, ukiwa na --headless=new. Hali ya zamani ya --headless haikupakia viendelezi kwa njia sawa.
Muda wa Selenium unaisha kwenye kila ukurasa kupitia wakala. Nini kifuate?
Pakia kikomo cha IP ukitumia curl ukiwa na stakabadhi zile zile. Ikiwa curl itashindwa pia, laini au mlango ndio tatizo; mwongozo wa kuisha kwa muda wa wakala unaorodhesha mambo ya kuangalia.
Vyanzo
IP thabiti kwa vipindi vya Selenium
IPv4 ya faragha katika nchi 7 na ISP tulivu nchini Marekani na Vietnam, zikiwa na mtumiaji na nywila, bila kikomo cha data na mteja mmoja kwa kila IP.
Angalia bei za sasa za Marekani