Puppeteer ავტორიზებული პროქსით: გაშვების ფლაგი და ავტორიზაცია
ProxyV4-ის საინჟინრო გუნდისგან · Updated:
Puppeteer-ში პროქსის ავტორიზაცია ორ ადგილას ხდება: პროქსის მისამართი ეთითება გაშვების ფლაგში --proxy-server=http://ip:port, ხოლო მომხმარებლის სახელი და პაროლი გადაეცემა await page.authenticate({ username, password })-ს. Chrome პასუხობს პროქსის 407 მოთხოვნას ამ მონაცემებით DevTools Protocol-ის გავლით, ასე რომ თქვენს Node.js სკრიპტს შეუძლია გამოიყენოს ProxyV4-ის IP ბრაუზერის გაფართოების გარეშე.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Puppeteer პროქსის ავთენტიფიკაცია: სრული მაგალითი
პირველ ნავიგაციამდე გადაეცით პროქსის მისამართი --proxy-server-ში, ხოლო ავტორიზაცია page.authenticate()-ის მეშვეობით. ეს სკრიპტი ზუსტად ამას აკეთებს და ბეჭდავს გამავალ IP-ს, რათა პროქსის მუშაობა ერთ გაშვებაში დაადასტუროთ:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();გამონატანში უნდა გამოჩნდეს სტატუსი 200 და პროქსის IP. 407, ERR_TUNNEL_CONNECTION_FAILED ან თქვენი საკუთარი IP ნიშნავს, რომ ორი ნაწილიდან ერთ-ერთი აკლია; პროქსი არ მუშაობს გვერდზე მოცემულია ხშირი მიზეზები თითოეული ხელსაწყოს მიხედვით.
რატომ არ არის ავტორიზაციის მონაცემები დროშის ნაწილი
Chrome არ იღებს მონაცემებს --proxy-server-ის შიგნით. თუ დაწერთ --proxy-server=http://user:pass@ip:port, ბრაუზერი ვერ გამოიყენებს ამ მნიშვნელობას და მოთხოვნები ჩაიშლება, როგორც წესი, ERR_NO_SUPPORTED_PROXIES შეცდომით. დროშაში დატოვეთ მხოლოდ მისამართი და პორტი, ხოლო ავტორიზაცია გადაეცით გვერდს.
| თანმიმდევრობა | გამოძახება | რას აკეთებს |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | ეუბნება Chrome-ს, რომელი პროქსი უნდა გამოიყენოს თითოეულმა მოთხოვნამ |
| 2 | await page.authenticate({ username, password }) | აწვდის მონაცემებს, როდესაც პროქსი პასუხობს 407-ით |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | ტვირთავს სამიზნეს ავთენტიფიცირებული პროქსის მეშვეობით |
ჩანართები, კონტექსტები და რამდენიმე IP
page.authenticate()ყენდება თითოეული გვერდისთვის:browser.newPage()-ით შექმნილ ყოველ ჩანართს სჭირდება ცალკე გამოძახება პირველgoto()-მდე- გაშვების დროშა განსაზღვრავს ერთ პროქსის მთელი ბრაუზერისთვის. ერთ Chrome პროცესში თითოეული კონტექსტისთვის განსხვავებული IP-ის მისაღებად გაატარეთ თითოეული
http://user:pass@ip:portproxy-chainპაკეტისanonymizeProxy()ფუნქციაში და შედეგი გადაეცითproxyServer-ის სახითbrowser.createBrowserContext({ proxyServer })-ს - კონფიგურაცია ანალოგიურად მუშაობს
puppeteer-extra-სა დაpuppeteer-extra-plugin-stealth-თან - ყოველთვის დაასრულეთ
browser.close()-ით, მათ შორის შეცდომების დამუშავებისას, წინააღმდეგ შემთხვევაში headless Chrome პროცესები სერვერზე დაგროვდება
Puppeteer SOCKS5 პროქსისთან
Chrome-ს შეუძლია გამოიყენოს SOCKS5 პროქსი (--proxy-server=socks5://IP:PORT), მაგრამ არ შეუძლია მასში ავტორიზაციის გავლა, ხოლო page.authenticate() არ ვრცელდება SOCKS-ზე. ProxyV4 პროქსის შემთხვევაში (SOCKS5 ხელმისაწვდომია ვიეტნამის გარეთ; ვიეტნამის IP-ები მხოლოდ HTTP-ია) გაქვთ ორი მარტივი არჩევანი: გადაიყვანეთ შეკვეთა HTTP ან ორმაგ რეჟიმში და გამოიყენეთ ზემოთ მოყვანილი მაგალითი, ან მიეცით საშუალება proxy-chain-ს გახსნას ლოკალური, უპაროლო გადამამისამართებელი, რომელიც ავტორიზაციას თქვენ ნაცვლად გაივლის:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);IP თეთრი სიით შესვლა მესამე გზაა: დაამატეთ აპარატის საჯარო IP შეკვეთას და Chrome ყოველგვარი მონაცემების გარეშე დაუკავშირდება.
IP-ების შერჩევა Puppeteer-ის ფლოტისთვის
Headless Chrome ტვირთავს სრულ გვერდებს, სკრიპტებსა და სურათებს, ამიტომ ლიმიტირებული ტრაფიკი სწრაფად იწურება. ProxyV4-ის პირად IPv4 და სტატიკურ ISP პროქსებს არ აქვთ ტრაფიკის ლიმიტი, თითოეული IP ემსახურება მხოლოდ ერთ მომხმარებელს, ხოლო ვადის გაგრძელებისას იგივე მისამართი ნარჩუნდება, რაც მნიშვნელოვანია, როდესაც მასზე მიბმულია სესია ან თეთრი სია. შეადარეთ პირადი IPv4 პროდუქტი სტატიკურ ISP პროდუქტს, თუ სამიზნე საიტი დატაცენტრის დიაპაზონებს განსხვავებულად ექცევა.
ეტაპობრივი ინსტრუქცია
- 1
გაუშვით Chrome პროქსის მისამართით
გაუშვით ბრაუზერი ბრძანებით
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, თქვენი ProxyV4-ის შეკვეთიდან მიღებული IP-ისა და პორტის გამოყენებით. - 2
გაიარეთ ავტორიზაცია ჩანართზე
გახსენით გვერდი
const page = await browser.newPage();-ით და ნებისმიერ ნავიგაციამდე გამოიძახეთawait page.authenticate({ username: 'USER', password: 'PASS' });. - 3
შეამოწმეთ გამავალი IP
გადადით ბმულზე
await page.goto('https://proxyv4.com/api/my-ip');და დარწმუნდით, რომ პასუხში ჩანს პროქსის მისამართი. - 4
დახურეთ ბრაუზერი
დაასრულეთ მუშაობა
await browser.close();-ით, რათა Chrome-ის არცერთი პროცესი არ დარჩეს გაშვებული.
ხშირად დასმული კითხვები
რა იწვევს ERR_NO_SUPPORTED_PROXIES შეცდომას Puppeteer-ში?
მონაცემების დროშაში მითითება, როგორც ეს არის --proxy-server=http://user:pass@ip:port-ში. გამოიყენეთ --proxy-server=http://ip:port და გადაეცით მომხმარებლის სახელი და პაროლი page.authenticate()-ის მეშვეობით.
ჩემი პირველი ჩანართი მუშაობს, მაგრამ ახალი ჩანართი იღებს HTTP 407-ს. რატომ?
ავთენტიფიკაცია ინახება თითოეული გვერდისთვის. გამოიძახეთ await newTab.authenticate({ username, password }) ყოველ გახსნილ გვერდზე მის ნავიგაციამდე.
შეუძლია ერთ Puppeteer ბრაუზერს ერთდროულად რამდენიმე პროქსის გამოყენება?
მხოლოდ გაშვების დროშით არა. გამოიყენეთ proxy-chain, რათა თითოეული ავთენტიფიცირებული პროქსი ლოკალურ მისამართად გარდაქმნათ და ბრაუზერის თითოეულ კონტექსტს საკუთარი proxyServer მიანიჭოთ, ან გაუშვით თითო ბრაუზერი თითო პროქსიზე.
როგორ შევამოწმო ბევრი პროქსი Puppeteer-ისთვის გადაცემამდე?
ჩასვით ისინი პროქსის შემმოწმებელში; ის ერთდროულად 100-მდე პროქსის ამუშავებს და არ ინახავს პაროლებს.
რატომ არ მუშაობს page.authenticate() ჩემს SOCKS5 პროქსისთან?
Chrome-ს არ აქვს მომხმარებლის სახელითა და პაროლით SOCKS5-ში შესვლის მხარდაჭერა, ამიტომ Puppeteer-ს საპასუხო არაფერი აქვს. გამოიყენეთ შეკვეთის HTTP რეჟიმი, ლოკალური გადამამისამართებელი proxy-chain-დან, ან IP თეთრი სიით შესვლა.
წყაროები
ულიმიტო IP-ები headless Chrome-ისთვის
პრივატული IPv4 7 ქვეყანაში და სტატიკური ISP აშშ-სა და ვიეტნამში, გაიცემა ავტომატურად გადახდის შემდეგ, ერთი მომხმარებელი თითო IP-ზე.
შეამოწმეთ აშშ-ის აქტუალური ფასები