Puppeteer նույնականացված պրոքսիով. գործարկման դրոշակ և մուտք
ProxyV4-ի ինժեներական թիմի կողմից · Updated:
Puppeteer-ում պրոքսիի նույնականացումը կատարվում է երկու տեղում. պրոքսիի հասցեն նշվում է --proxy-server=http://ip:port գործարկման դրոշակում, իսկ օգտանունն ու գաղտնաբառը՝ await page.authenticate({ username, password })-ում: Chrome-ը պատասխանում է պրոքսիի 407 հարցմանը այդ տվյալներով DevTools Protocol-ի միջոցով, ինչի շնորհիվ ձեր Node.js սկրիպտը կարող է օգտագործել ProxyV4-ի IP առանց բրաուզերի ընդլայնման:
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
Puppeteer պրոքսիի նույնականացում. ամբողջական օրինակ
Փոխանցեք պրոքսիի հասցեն --proxy-server-ում, իսկ մուտքային տվյալները՝ page.authenticate()-ի միջոցով նախքան առաջին անցումը: Այս սկրիպտն անում է հենց դա և տպում ելքային IP-ն, որպեսզի կարողանաք հաստատել պրոքսին մեկ գործարկմամբ:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Ելքում պետք է ցուցադրվի 200 կարգավիճակ և պրոքսիի IP-ն: 407-ը, ERR_TUNNEL_CONNECTION_FAILED-ը կամ ձեր սեփական IP-ն նշանակում են, որ երկու մասերից մեկը բացակայում է. պրոքսին չի աշխատում էջում թվարկված են հիմնական պատճառներն ըստ գործիքների:
Ինչու մուտքային տվյալները flag-ի մաս չեն
Chrome-ը չի ընդունում մուտքային տվյալներ --proxy-server-ի ներսում: Եթե գրեք --proxy-server=http://user:pass@ip:port, բրաուզերը չի կարողանա օգտագործել այդ արժեքը, և հարցումները կձախողվեն, սովորաբար ERR_NO_SUPPORTED_PROXIES սխալով: Flag-ը պահեք միայն հասցեի և port-ի համար, իսկ մուտքային տվյալները փոխանցեք էջին:
| Հերթականություն | Կանչ | Ինչ է այն անում |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Հուշում է Chrome-ին, թե որ պրոքսին պետք է օգտագործի յուրաքանչյուր հարցում |
| 2 | await page.authenticate({ username, password }) | Տրամադրում է մուտքային տվյալները, երբ պրոքսին պատասխանում է 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Բեռնում է թիրախը նույնականացված պրոքսիի միջոցով |
Ներդիրներ, կոնտեքստներ և մեկից ավելի IP-ներ
page.authenticate()-ը սահմանվում է յուրաքանչյուր էջի համար.browser.newPage()-ից ստացված յուրաքանչյուր ներդիր պահանջում է իր սեփական կանչը նախքան առաջինgoto()-ն- Գործարկման flag-ը ֆիքսում է մեկ պրոքսի ամբողջ բրաուզերի համար: Chrome-ի մեկ պրոցեսում յուրաքանչյուր կոնտեքստի համար տարբեր IP ունենալու նպատակով անցկացրեք յուրաքանչյուր
http://user:pass@ip:portproxy-chainփաթեթիanonymizeProxy()-ի միջով և արդյունքը փոխանցեք որպեսproxyServerbrowser.createBrowserContext({ proxyServer })-ին - Կարգավորումն աշխատում է նույն կերպ նաև
puppeteer-extra-ի ևpuppeteer-extra-plugin-stealth-ի հետ - Միշտ ավարտեք
browser.close()-ով, այդ թվում՝ սխալների դեպքում, այլապես headless Chrome-ի պրոցեսները կկուտակվեն սերվերում
Puppeteer-ը SOCKS5 պրոքսիով
Chrome-ը կարող է օգտագործել SOCKS5 պրոքսի (--proxy-server=socks5://IP:PORT), բայց չի կարող մուտք գործել դրանում, իսկ page.authenticate()-ը չի կիրառվում SOCKS-ի համար: ProxyV4 պրոքսիի դեպքում (SOCKS5-ն առաջարկվում է Վիետնամից դուրս, Վիետնամի IP-ները միայն HTTP են) ունեք երկու հստակ տարբերակ՝ փոխեք պատվերը HTTP կամ երկակի ռեժիմի և օգտագործեք վերը նշված օրինակը, կամ թույլ տվեք, որ proxy-chain-ը բացի տեղային, առանց գաղտնաբառի forwarder, որը մուտք կգործի ձեր փոխարեն:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);IP whitelist-ով մուտքը երրորդ տարբերակն է. ավելացրեք սարքի հանրային IP-ն պատվերին, և Chrome-ը կմիանա առանց որևէ մուտքային տվյալի:
IP-ների ընտրություն Puppeteer-ի ֆլոտի համար
Headless Chrome-ը ներբեռնում է ամբողջական էջեր, սկրիպտներ և պատկերներ, ուստի սակագնավորվող տրաֆիկն արագ է սպառվում: ProxyV4-ի անհատական IPv4 և ստատիկ ISP պրոքսիները չունեն թողունակության սահմանափակում կամ հաշվառում, յուրաքանչյուր IP սպասարկում է միայն մեկ հաճախորդի, իսկ երկարաձգումը պահպանում է նույն հասցեն, ինչը կարևոր է, երբ սեսիան կամ allow-list-ը կապված է դրան: Համեմատեք անհատական IPv4 պրոդուկտը ստատիկ ISP պրոդուկտի հետ, եթե թիրախային կայքը տարբեր կերպ է վերաբերվում տվյալների կենտրոնների դիապազոններին:
Քայլ առ քայլ
- 1
Գործարկեք Chrome-ը պրոքսիի հասցեով
Գործարկեք բրաուզերը
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });կոդով՝ օգտագործելով IP-ն և պորտը ձեր ProxyV4 պատվերից: - 2
Նույնականացրեք ներդիրը
Բացեք էջը
const page = await browser.newPage();-ով և կանչեքawait page.authenticate({ username: 'USER', password: 'PASS' });նախքան որևէ էջ անցնելը: - 3
Ստուգեք ելքային IP-ն
Անցեք էջին
await page.goto('https://proxyv4.com/api/my-ip');-ով և ստուգեք, որ պատասխանը ցույց է տալիս պրոքսիի հասցեն: - 4
Փակեք բրաուզերը
Ավարտեք
await browser.close();-ով, որպեսզի Chrome-ի ոչ մի գործընթաց չմնա աշխատանքային վիճակում:
Հաճախ տրվող հարցեր
Ի՞նչն է առաջացնում ERR_NO_SUPPORTED_PROXIES սխալը Puppeteer-ում:
Մուտքային տվյալները flag-ի ներսում, ինչպես օրինակ՝ --proxy-server=http://user:pass@ip:port: Օգտագործեք --proxy-server=http://ip:port և փոխանցեք օգտանունն ու գաղտնաբառը page.authenticate()-ի միջոցով:
Իմ առաջին ներդիրն աշխատում է, բայց նոր ներդիրը ստանում է HTTP 407: Ինչո՞ւ:
Նույնականացումը պահպանվում է յուրաքանչյուր էջի համար: Յուրաքանչյուր բացված էջի համար կանչեք await newTab.authenticate({ username, password })՝ նախքան անցում կատարելը:
Կարո՞ղ է Puppeteer-ի մեկ բրաուզերը միաժամանակ օգտագործել մի քանի պրոքսի:
Միայն գործարկման flag-ի միջոցով՝ ոչ: Օգտագործեք proxy-chain՝ յուրաքանչյուր նույնականացված պրոքսի տեղային հասցեի վերածելու և բրաուզերի յուրաքանչյուր կոնտեքստին իր սեփական proxyServer-ը տրամադրելու համար, կամ գործարկեք մեկ բրաուզեր յուրաքանչյուր պրոքսիի համար:
Ինչպե՞ս ստուգել բազմաթիվ պրոքսիներ՝ դրանք Puppeteer-ին փոխանցելուց առաջ:
Տեղադրեք դրանք պրոքսիների ստուգիչում. այն միաժամանակ մշակում է մինչև 100 պրոքսի և չի պահպանում գաղտնաբառերը:
Ինչո՞ւ page.authenticate()-ը չի աշխատում իմ SOCKS5 պրոքսիի հետ:
Chrome-ը չի աջակցում օգտանունով և գաղտնաբառով մուտք SOCKS5-ի համար, ուստի Puppeteer-ը պատասխանելու ոչինչ չունի: Օգտագործեք պատվերի HTTP ռեժիմը, տեղային վերահասցեավորող proxy-chain-ից կամ IP whitelist-ով մուտք:
Աղբյուրներ
Առանց թրաֆիկի սահմանափակման IP-ներ headless Chrome-ի համար
Անհատական IPv4 7 երկրներում, ինչպես նաև ստատիկ ISP ԱՄՆ-ում և Վիետնամում, տրամադրվում են վճարումից հետո ավտոմատ, մեկ հաճախորդ՝ մեկ IP-ի համար:
Ստուգել ԱՄՆ-ի ընթացիկ գները