Selenium WebDriver àti àwọn proxy tí ó ní ìfọwọ́sí: ohun tí ń ṣiṣẹ́
Láti ọwọ́ Ẹgbẹ́ Onímọ̀-ẹ̀rọ ProxyV4 · Updated:
Ìfọwọ́sí proxy Selenium nílò ọ̀nà àbáyọ, nítorí pé àmì --proxy-server=http://ip:port ti ChromeDriver kò lè gba username àti password; Chrome máa ń yọ user:pass inú rẹ̀ kúrò, ó sì máa ń fi àpótí ìwọlé hàn tí WebDriver kò lè fúnra rẹ̀ kọ nǹkan sí. Àwọn ojútùú méjì tí a lè gbẹ́kẹ̀lé ni selenium-wire, èyí tí ń bójútó ìwọlé ProxyV4 ní Python, àti extension kékeré kan ti Chrome tí ń dáhùn sí onAuthRequired ní èdè Selenium èyíkéyìí.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- IP 1$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
- IP 1$2.25
- 3+ IP$2.10
- 10+ IP$2.00
- 25+ IP$1.90
- 50+ IP$1.80
- 100+ IP$1.70
- 200+ IP$1.60
- 500+ IP$1.50
Àfiwé àwọn àṣàyàn
| Ọ̀nà | Bí o ṣe ń ṣètò rẹ̀ | Ibùdó tí ó dára fún |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Ọ̀nà tí ó yára jùlọ ní Python; a lè yí proxy padà nígbà tí browser ṣì wà ní ṣíṣí |
| Extension fún Auth | Extension tí a rún (zipped) tí script abẹ́lé rẹ̀ ń bójútó chrome.webRequest.onAuthRequired | Java, C#, Python àti undetected-chromedriver bákan náà |
| Yípadà sí Playwright | browser.newContext({ proxy: { server, username, password } }) | Àwọn iṣẹ́ tuntun; ìwọlé proxy wà nínú rẹ̀ tẹ́lẹ̀, kò nílò extension |
Ohun tí ń ṣẹlẹ̀ pẹ̀lú --proxy-server lásán
Chrome ń gba àdírẹ́sì proxy láti command line ṣùgbọ́n ó máa ń fojú fo àwọn ẹ̀rí ìwọlé tí a kọ sínú rẹ̀. Nígbà tí proxy bá dáhùn pẹ̀lú 407, Chrome yóò ṣí àpótí ìwọlé ti ẹ̀rọ náà. Àpótí yẹn wà lẹ́yìn DOM ojú-ewé náà, nítorí náà find_element kò lè rí i, script náà yóò sì dúró títí àkókò yóò fi parí. Nítorí èyí, gbogbo ọ̀nà tí ń ṣiṣẹ́ máa ń pèsè àwọn ẹ̀rí ìwọlé náà ní ibòmíràn yàtọ̀ sí inú àmì náà.
Ṣàkíyèsí pé a kì í tún selenium-wire ṣe déédéé mọ́. Ó ṣì ń ṣiṣẹ́ fún ọ̀pọ̀lọpọ̀ ìtòlẹ́sẹẹsẹ, ṣùgbọ́n fún àwọn iṣẹ́ tí yóò pẹ́ títí, ọ̀nà extension tàbí Playwright ni àṣàyàn tí ó ní ààbò jù.
Mímú kí iṣẹ́ Selenium tí ń lo proxy yára kánkán
- Ṣètò
options.page_load_strategy = 'eager'kí script náà lè tẹ̀síwájú gbàrà tí DOM bá ti múra tán, dípò kí ó máa dúró de àwọn script ẹlẹ́kẹ̀ta tí ó lọ́ra - Fún ṣíṣiṣẹ́ headless lórí Chrome 109 tàbí èyí tí ó tẹ̀lé e, lo
--headless=new; àwọn extension, títí kan extension ìfọwọ́sí, yóò ṣiṣẹ́ bí ti fèrèsé déédéé - Pa gbígba àwòrán wọlé nínú àwọn ìfẹ́ràn Chrome nígbà tí o bá nílò ọ̀rọ̀ nìkan bíi iye owó tàbí àkọlé
- Fi
driver.quit()sínú apátry / finallykí ìdúró lójijì má baà fi àwọn ìgbésẹ̀ Chrome sílẹ̀ lẹ́yìn
Kí o tó mú iṣẹ́ rẹ gbòòrò sí i
Session WebDriver kọ̀ọ̀kan jẹ́ browser odidi kan, nítorí náà fún session kọ̀ọ̀kan ní IP tirẹ̀ tí ojúlé náà bá ń so àwọn àkántì pọ̀ nípasẹ̀ àdírẹ́sì. A máa ń háyà IPv4 àdáni ti ProxyV4 fún oníbàárà kan ṣoṣo, ó sì ń pa àdírẹ́sì rẹ̀ mọ́ nígbà tí o bá sọ ọ́ dọ̀tun, èyí tí ń pa àwọn àkántì ìdánwò tí ń ṣiṣẹ́ fún ìgbà pípẹ́ mọ́ sórí IP kan náà. Kọ́kọ́ ṣàyẹ̀wò àwọn proxy tuntun pẹ̀lú olùyẹ̀wò proxy kí ìlà tí kò dára má bàa yọjú gẹ́gẹ́ bí Selenium timeout tí ń rúni lójú.
Bí ìṣiṣẹ́ kan bá ṣì ń ṣí àwọn ojú-ewé láti IP ti server fúnra rẹ̀ tàbí tí ó dúró lórí àṣìṣe tunnel, abala Selenium ti proxy tí kò ṣiṣẹ́ to àwọn okùnfà tó wọ́pọ̀ lẹ́sẹẹsẹ.
Ìgbésẹ̀ ní ìgbésẹ̀
- 1
Fi selenium-wire sórí ẹ̀rọ
Nínú virtual environment rẹ, tẹ
pip install selenium-wire. - 2
Ṣàpèjúwe proxy náà
Kọ
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}láti inú àṣẹ ProxyV4 rẹ. - 3
Bẹ̀rẹ̀ Chrome pẹ̀lú àwọn àṣàyàn wọ̀nyẹn
Ṣẹ̀dá driver náà pẹ̀lú
driver = webdriver.Chrome(seleniumwire_options=sw_options), nípa mímúwebdriverwọlé látiseleniumwire. - 4
Yẹ IP àbájáde wò
Pe
driver.get('https://proxyv4.com/api/my-ip')kí o sì rí i dájú pé ojú-ewé náà fi àdírẹ́sì proxy hàn.
Àwọn ìbéèrè tí a ń béèrè lemọ́lemọ́
Kí ló dé tí a fi ń kọ --proxy-server=http://user:pass@ip:port nínú ChromeOptions?
Chrome máa ń yọ àwọn ẹ̀rí ìwọlé kúrò nínú iye --proxy-server látìbẹ̀rẹ̀ pẹ̀pẹ̀. Pèsè wọ́n nípasẹ̀ selenium-wire, extension onAuthRequired, tàbí kí o yípadà sí Playwright, èyí tí ń gba username àti password tààràtà.
Ṣé selenium-wire lè yí proxy padà láìsí pé a tún browser bẹ̀rẹ̀?
Bẹ́ẹ̀ ni. Pèsè dict tuntun kan, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, àwọn ìbéèrè tí ó tẹ̀lé e yóò sì lo proxy òkè tuntun náà.
Ṣé extension ìfọwọ́sí ń ṣiṣẹ́ nínú headless Chrome?
Bẹ́ẹ̀ ni, pẹ̀lú --headless=new. Ìlànà --headless àtijọ́ kò gba àwọn extension wọlé lọ́nà kan náà.
Àkókò Selenium ń kọjá lórí gbogbo ojú-ewé nípasẹ̀ proxy. Kí ló kàn?
Ṣí endpoint IP náà pẹ̀lú cURL nípa lílo àwọn ẹ̀rí ìwọlé kan náà. Tí cURL bá kùnà pẹ̀lú, ìlà tàbí port náà ni ìṣòro; ìtọ́sọ́nà fún proxy timeout ṣe àtòjọ ohun tí ó yẹ kí a yẹ̀wò.
Àwọn orísun
Àwọn IP tí ó dúró sán-ún fún àwọn session Selenium
IPv4 àdáni ní àwọn orílẹ̀-èdè 7 àti ISP tí kò yipada ní US àti Vietnam, pẹ̀lú user àti password, láìsí ìwọ̀n lílo àti oníbàárà kan fún IP kọ̀ọ̀kan.
Wo àwọn iye owó US lójú-ẹsẹ̀