Puppeteer na may authenticated proxy: launch flag at login
Mula sa ProxyV4 Engineering Team · Updated:
Nangyayari sa dalawang lugar ang authentication ng proxy sa Puppeteer: ang address ng proxy ay inilalagay sa launch flag na --proxy-server=http://ip:port, at ang username at password naman ay inilalagay sa await page.authenticate({ username, password }). Sinasagot ng Chrome ang 407 challenge ng proxy gamit ang mga credential na iyon sa pamamagitan ng DevTools Protocol, kaya magagamit ng iyong Node.js script ang isang ProxyV4 IP nang hindi nangangailangan ng browser extension.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP$1.85
- 3+ na IP$1.70
- 10+ na IP$1.60
- 25+ na IP$1.50
- 50+ na IP$1.40
- 100+ na IP$1.30
- 200+ na IP$1.20
- 500+ na IP$1.10
- 1 IP$1.85
- 3+ na IP$1.70
- 10+ na IP$1.60
- 25+ na IP$1.50
- 50+ na IP$1.40
- 100+ na IP$1.30
- 200+ na IP$1.20
- 500+ na IP$1.10
Authentication ng proxy sa Puppeteer: isang kumpletong halimbawa
Ipasa ang address ng proxy sa --proxy-server at ang login sa pamamagitan ng page.authenticate() bago ang unang navigation. Ginagawa mismo iyan ng script na ito at ipinapakita ang exit IP, upang makumpirma mo ang proxy sa isang pagpapatakbo:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Dapat ipakita sa output ang status na 200 at ang IP ng proxy. Ang 407, ERR_TUNNEL_CONNECTION_FAILED, o ang sarili mong IP ay nangangahulugang may kulang sa dalawang bahagi; inililista ng proxy not working ang mga karaniwang dahilan bawat tool.
Bakit hindi bahagi ng flag ang login
Hindi tumatanggap ang Chrome ng mga credential sa loob ng --proxy-server. Kung isusulat mo ang --proxy-server=http://user:pass@ip:port, hindi magagamit ng browser ang value at mabibigo ang mga kahilingan, karaniwang may ERR_NO_SUPPORTED_PROXIES. Panatilihin ang flag para sa address at port lamang, at ibigay ang login sa page.
| Pagkakasunod-sunod | Call | Ano ang ginagawa nito |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Sinasabi sa Chrome kung aling proxy ang dapat gamitin ng bawat kahilingan |
| 2 | await page.authenticate({ username, password }) | Nagbibigay ng mga credential kapag sumagot ang proxy ng 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Ilo-load ang target sa pamamagitan ng na-authenticate na proxy |
Mga tab, context, at higit sa isang IP
- Naka-set ang
page.authenticate()bawat page: kailangan ng bawat tab mula sabrowser.newPage()ng sarili nitong tawag bago ang unanggoto() - Inilalagay ng launch flag ang isang proxy para sa buong browser. Para sa magkakaibang IP bawat context sa isang proseso ng Chrome, patakbuhin ang bawat
http://user:pass@ip:portsa pamamagitan nganonymizeProxy()mula sa package naproxy-chainat ipasa ang resulta bilangproxyServersabrowser.createBrowserContext({ proxyServer }) - Gumagana ang setup sa parehong paraan sa
puppeteer-extraatpuppeteer-extra-plugin-stealth - Palaging tapusin gamit ang
browser.close(), kabilang sa mga error path, kung hindi ay maiipon ang mga proseso ng headless Chrome sa server
Puppeteer na may SOCKS5 proxy
Maaaring gumamit ang Chrome ng SOCKS5 proxy (--proxy-server=socks5://IP:PORT) ngunit hindi makapag-log in dito, at hindi nalalapat ang page.authenticate() sa SOCKS. Sa isang ProxyV4 proxy (inaalok ang SOCKS5 sa labas ng Vietnam; ang mga IP sa Vietnam ay HTTP lamang), mayroon kang dalawang maayos na opsyon: ilipat ang order sa HTTP o dual mode at gamitin ang halimbawa sa itaas, o hayaan ang proxy-chain na magbukas ng lokal at walang password na forwarder na magla-log in para sa iyo:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Ang login sa pamamagitan ng IP whitelist ay pangatlong paraan: idagdag ang pampublikong IP ng makina sa order at kokonekta ang Chrome nang walang anumang credential.
Pagpili ng mga IP para sa isang fleet ng Puppeteer
Nagda-download ang headless Chrome ng mga buong page, script, at larawan, kaya mabilis maipon ang nasusukat na trapiko. Walang pagsukat ng bandwidth ang mga pribadong IPv4 at static ISP proxy ng ProxyV4, isang customer lamang ang pinagsisilbihan ng bawat IP, at pinapanatili ng pag-renew ang parehong address, na mahalaga kapag nakatali rito ang isang session o allow-list. Ihambing ang private IPv4 product sa static ISP product kung iba ang pagtrato ng target na site sa mga datacenter range.
Hakbang-hakbang
- 1
Ilunsad ang Chrome gamit ang proxy address
Simulan ang browser gamit ang
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, gamit ang IP at port mula sa iyong order sa ProxyV4. - 2
I-authenticate ang tab
Magbukas ng page gamit ang
const page = await browser.newPage();at tawagan angawait page.authenticate({ username: 'USER', password: 'PASS' });bago ang anumang navigation. - 3
Basahin ang exit IP
Pumunta sa URL gamit ang
await page.goto('https://proxyv4.com/api/my-ip');at tiyaking ipinapakita sa response ang proxy address. - 4
Isara ang browser
Tapusin gamit ang
await browser.close();upang walang maiwang tumatakbong Chrome process.
Mga madalas itanong
Ano ang nagdudulot ng ERR_NO_SUPPORTED_PROXIES sa Puppeteer?
Mga credential sa loob ng flag, tulad ng --proxy-server=http://user:pass@ip:port. Gamitin ang --proxy-server=http://ip:port at ipasa ang username at password sa pamamagitan ng page.authenticate().
Gumagana ang unang tab ko pero nakakakuha ng HTTP 407 ang bagong tab. Bakit?
Naka-store ang authentication bawat page. Tawagin ang await newTab.authenticate({ username, password }) sa bawat page na bubuksan mo bago ito mag-navigate.
Maaari bang gumamit ng ilang proxy nang sabay-sabay ang isang Puppeteer browser?
Hindi sa pamamagitan lamang ng launch flag. Gamitin ang proxy-chain upang gawing lokal na address ang bawat na-authenticate na proxy at bigyan ang bawat browser context ng sarili nitong proxyServer, o magsimula ng isang browser bawat proxy.
Paano ko susubukan ang maraming proxy bago ibigay ang mga ito sa Puppeteer?
I-paste ang mga ito sa proxy checker; kaya nitong magproseso ng hanggang 100 nang sabay-sabay at hindi ito nag-iimbak ng mga password.
Bakit hindi gumagana ang page.authenticate() sa aking SOCKS5 proxy?
Hindi sinusuportahan ng Chrome ang username at password na login para sa SOCKS5, kaya walang masasagot ang Puppeteer. Gamitin ang HTTP mode ng order, isang lokal na forwarder mula sa proxy-chain, o login sa pamamagitan ng IP whitelist.
Mga Sanggunian
Unmetered na mga IP para sa headless Chrome
Private IPv4 sa 7 bansa kasama ang static ISP sa US at Vietnam, awtomatikong inilalabas pagkatapos magbayad, isang customer bawat IP.
Tingnan ang live na presyo sa US