Puppeteer pẹlu proxy tó ní ìjẹrisi: àsìá ìfilọ́lẹ̀ pọ̀mọ́ ìwọlé
Láti ọwọ́ Ẹgbẹ́ Onímọ̀-ẹ̀rọ ProxyV4 · Updated:
Ìjẹrisi proxy Puppeteer máa ń wáyé ní ibi méjì: àdírẹ́sì proxy náà máa ń lọ sínú àsìá ìfilọ́lẹ̀ --proxy-server=http://ip:port, orúkọ olùlò àti ọ̀rọ̀-ìgbaniwọlé sì máa ń lọ sínú await page.authenticate({ username, password }). Chrome ń dáhùn sí ìpèníjà 407 ti proxy náà pẹ̀lú àwọn ẹ̀rí ìwọlé wọ̀nyẹn lórí DevTools Protocol, kí àkọsílẹ̀ Node.js rẹ lè lo IP ProxyV4 láìní àfikún aṣàwákiri kankan.
--proxy-server=http://ip:port + page.authenticate({ username, password })- IP 1$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
- IP 1$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
Ìjẹ́rìsí proxy Puppeteer: àpẹẹrẹ kíkún
Fi àdírẹ́sì proxy ránṣẹ́ sínú --proxy-server àti àwọn ẹ̀rí ìwọlé nípasẹ̀ page.authenticate() kí o tó bẹ̀rẹ̀ ìṣàwákiri àkọ́kọ́. Àkọsílẹ̀ kòòdù yìí ṣe bẹ́ẹ̀ gẹ́lẹ́ ó sì ń tẹ IP ìjáde jáde, kí o lè fọwọ́sí proxy náà ní ìgbà kan ṣoṣo:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Àbájáde yẹ kí ó fi ipò 200 hàn àti IP ti proxy náà. Bí ó bá jẹ́ 407, ERR_TUNNEL_CONNECTION_FAILED tàbí IP tìrẹ fúnra rẹ, ó túmọ̀ sí pé ọ̀kan nínú àwọn apá méjèèjì kù; proxy tí kò ṣiṣẹ́ ṣe àkójọ àwọn ohun tó sábà ń fà á fún irinṣẹ́ kọ̀ọ̀kan.
Ìdí tí ìwọlé kì í fi ṣe apá kan àsíá náà
Chrome kì í gba àwọn ẹ̀rí ìdánimọ̀ sínú --proxy-server. Tí o bá kọ --proxy-server=http://user:pass@ip:port, aṣàwákiri kò ní lè lo iye náà àwọn ìbéèrè yóò sì kùnà, ní pàtàkì pẹ̀lú ERR_NO_SUPPORTED_PROXIES. Fi àsíá náà mọ mọ́ àdírẹ́sì àti póòtù nìkan, kí o sì fi ìwọlé lé ojú-ìwé náà lọ́wọ́.
| Ètò | Ìpè | Ohun tí ó ń ṣe |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Ó ń sọ fún Chrome proxy tí gbogbo ìbéèrè gbọ́dọ̀ lò |
| 2 | await page.authenticate({ username, password }) | Ó ń pèsè àwọn ẹ̀rí ìdánimọ̀ nígbà tí proxy bá dáhùn pẹ̀lú 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Ó ń gbé ojú-ìwé tí a fẹ́ wọlé wá nípasẹ̀ proxy tí a fọwọ́sí |
Àwọn tábù, àyíká àti ju IP kan lọ
- A ń ṣètò
page.authenticate()fún ojú-ìwé kọ̀ọ̀kan: tábù kọ̀ọ̀kan látibrowser.newPage()nílò ìpè tirẹ̀ kígoto()àkọ́kọ́ tó bẹ̀rẹ̀ - Àsíá ìfilọ́lẹ̀ náà ń yan proxy kan ṣoṣo fún gbogbo aṣàwákiri. Fún IP ọ̀tọ̀ọ̀tọ̀ fún àyíká kọ̀ọ̀kan nínú ìlànà Chrome kan, lo
anonymizeProxy()láti inú àpòproxy-chainfúnhttp://user:pass@ip:portkọ̀ọ̀kan kí o sì fi àbájáde náà ránṣẹ́ gẹ́gẹ́ bíproxyServersíbrowser.createBrowserContext({ proxyServer }) - Ètò yìí ń ṣiṣẹ́ bákan náà pẹ̀lú
puppeteer-extraàtipuppeteer-extra-plugin-stealth - Máa parí pẹ̀lú
browser.close()nígbà gbogbo, títí kan nígbà tí àṣìṣe bá wáyé, bí bẹ́ẹ̀ kọ́ àwọn ìlànà headless Chrome yóò kórajọ lórí ẹ̀rọ olupin
Puppeteer pẹ̀lú proxy SOCKS5
Chrome lè lo proxy SOCKS5 (--proxy-server=socks5://IP:PORT) ṣùgbọ́n kò lè wọlé sínú rẹ̀, bẹ́ẹ̀ sì ni page.authenticate() kò kan SOCKS. Pẹ̀lú proxy ProxyV4 (a ń pèsè SOCKS5 lẹ́yìn odi Vietnam; àwọn IP ti Vietnam jẹ́ HTTP nìkan) o ní àwọn àṣàyàn méjì tí ó dára: yí àṣẹ náà padà sí ipò HTTP tàbí ipò méjèèjì kí o sì lo àpẹẹrẹ tí ó wà lókè, tàbí kí o jẹ́ kí proxy-chain ṣí olùtọ́sọ́nà agbègbè tí kò ní ọ̀rọ̀ìgbaniwọlé tí yóò wọlé fún ọ:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Ìwọlé nípasẹ̀ àkójọ àwọn IP tí a gbà láàyè (IP whitelist) jẹ́ ọ̀nà kẹta: fi IP gbangba ti ẹ̀rọ náà kún àṣẹ rẹ, Chrome yóò sì sopọ̀ láìsí ẹ̀rí ìdánimọ̀ kankan.
Yíyan àwọn IP fún ọ̀wọ́ Puppeteer
Headless Chrome máa ń gba gbogbo ojú-ìwé, àwọn àkọsílẹ̀ àti àwòrán sílẹ̀, nítorí náà lílo dátà tí a ń díwọ̀n máa ń pọ̀ sí i ní kíákíá. Àwọn proxy IPv4 aládàáni àti ISP dúró gbinrin ti ProxyV4 kò ní ìwọ̀n lílo bándíwíìtì, IP kọ̀ọ̀kan jẹ́ ti oníbàárà kan ṣoṣo, títún un ṣe sì ń pa àdírẹ́sì kan náà mọ́, èyí tí ó ṣe pàtàkì nígbà tí ìgbìmọ̀ (session) tàbí àkójọ ìyọ̀nda bá so mọ́ ọn. Ṣe àfiwé ọjà IPv4 aládàáni pẹ̀lú ọjà static ISP tí ojú-òpó tí o fẹ́ kàn bá ń ṣe sí àwọn ibi ìpamọ́ dídàtà (datacenter) lọ́tọ̀.
Ìgbésẹ̀ ní ìgbésẹ̀
- 1
Ṣí Chrome pẹ̀lú àdírẹ́sì proxy náà
Bẹ̀rẹ̀ aṣàwákiri náà pẹ̀lú
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, ní lílo IP àti ibùdó láti inú àṣẹ ProxyV4 rẹ. - 2
Ṣe ìjẹrisi táàbù náà
Ṣí ojú-ewé kan pẹ̀lú
const page = await browser.newPage();kí o sì peawait page.authenticate({ username: 'USER', password: 'PASS' });ṣáájú ìgbésẹ̀ ìwọlé kankan. - 3
Ka IP àbájáde náà
Wọlé pẹ̀lú
await page.goto('https://proxyv4.com/api/my-ip');kí o sì ṣàyẹ̀wò pé ìdáhùn náà fi àdírẹ́sì proxy hàn. - 4
Pa aṣàwákiri náà dé
Parí pẹ̀lú
await browser.close();kí ìlànà Chrome kankan má baà wà ní ṣíṣe.
Àwọn ìbéèrè tí a ń béèrè lemọ́lemọ́
Kí ló ń fa ERR_NO_SUPPORTED_PROXIES nínú Puppeteer?
Fifi àwọn ẹ̀rí ìdánimọ̀ sínú àsíá náà, bíi nínú --proxy-server=http://user:pass@ip:port. Lo --proxy-server=http://ip:port kí o sì gbé orúkọ aṣeamúlò àti ọ̀rọ̀ìgbaniwọlé wọlé nípasẹ̀ page.authenticate().
Tábù mi àkọ́kọ́ ń ṣiṣẹ́ ṣùgbọ́n tábù tuntun ń gba HTTP 407. Kí nìdí?
Ojú-ìwé kọ̀ọ̀kan ló ń tọ́jú ìjẹ́rìsí tirẹ̀. Pe await newTab.authenticate({ username, password }) lórí ojú-ìwé kọ̀ọ̀kan tí o bá ṣí kí ó tó lọ sí ibikíbi.
Ǹjẹ́ aṣàwákiri Puppeteer kan lè lo ọ̀pọ̀lọpọ̀ proxy lẹ́ẹ̀kan náà?
Kì í ṣe nípasẹ̀ àsíá ìfilọ́lẹ̀ náà nìkan. Lo proxy-chain láti sọ proxy tí a fọwọ́sí kọ̀ọ̀kan di àdírẹ́sì agbègbè kí o sì fún àyíká aṣàwákiri kọ̀ọ̀kan ní proxyServer tirẹ̀, tàbí kí o bẹ̀rẹ̀ aṣàwákiri kan fún proxy kọ̀ọ̀kan.
Báwo ni mo ṣe lè dán ọ̀pọ̀lọpọ̀ proxy wò kí n tó lò wọ́n nínú Puppeteer?
Lẹ wọ́n mọ́ inú proxy checker; ó lè gba tó 100 lẹ́ẹ̀kan náà kò sì ní tọ́jú ọ̀rọ̀ìgbaniwọlé kankan.
Kí nìdí tí page.authenticate() kò fi ṣiṣẹ́ pẹ̀lú proxy SOCKS5 mi?
Chrome kò ṣe àtìlẹ́yìn ìwọlé pẹ̀lú orúkọ aṣeamúlò àti ọ̀rọ̀ìgbaniwọlé fún SOCKS5, nítorí náà kò sí ohun tí Puppeteer máa dáhùn. Lo ipò HTTP ti àṣẹ náà, olùtọ́sọ́nà agbègbè láti proxy-chain, tàbí ìwọlé nípasẹ̀ àkójọ àwọn IP tí a gbà láàyè (IP whitelist).
Àwọn orísun
Àwọn IP àìlòpin fún headless Chrome
IPv4 àdáni ní àwọn orílẹ̀-èdè 7 pẹ̀lú static ISP ní US àti Vietnam, tí a ń fúnni fúnra rẹ̀ lẹ́yìn ìsanwó, oníbàárà kan fún IP kọ̀ọ̀kan.
Wo àwọn iye owó US lójú-ẹsẹ̀