Doğrulanmış proksi ilə Puppeteer: başlatma bayrağı və giriş
ProxyV4 Mühəndislik Komandası tərəfindən · Updated:
Puppeteer proksi autentifikasiyası iki yerdə baş verir: proksi ünvanı --proxy-server=http://ip:port başlatma bayrağına, istifadəçi adı və şifrə isə await page.authenticate({ username, password }) çağırışına daxil edilir. Chrome proksinin 407 tələbinə DevTools Protocol üzərindən həmin məlumatlarla cavab verir, beləliklə, Node.js skriptiniz brauzer uzantısı olmadan ProxyV4 IP ünvanından istifadə edə bilir.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Puppeteer proksi autentifikasiyası: tam nümunə
İlk keçiddən əvvəl proksi ünvanını --proxy-server daxilində, girişi isə page.authenticate() vasitəsilə ötürün. Bu skript məhz bunu edir və çıxış IP ünvanını çap edir, beləliklə proksini bir icrada təsdiqləyə bilərsiniz:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Nəticədə 200 statusu və proksinin IP ünvanı görünməlidir. 407, ERR_TUNNEL_CONNECTION_FAILED və ya öz IP ünvanınız o deməkdir ki, iki hissədən biri çatışmır; proksi işləmir hər alət üzrə ümumi səbəbləri sadalayır.
Giriş məlumatları niyə bayrağa daxil edilmir
Chrome --proxy-server daxilində giriş məlumatlarını qəbul etmir. Əgər --proxy-server=http://user:pass@ip:port yazsanız, brauzer bu dəyərdən istifadə edə bilməyəcək və sorğular adətən ERR_NO_SUPPORTED_PROXIES xətası ilə uğursuz olacaq. Bayrağı yalnız ünvan və portla məhdudlaşdırın, girişi isə səhifəyə ötürün.
| Sıra | Çağırış | Nə edir |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Chrome-a hər sorğunun hansı proksidən istifadə etməli olduğunu bildirir |
| 2 | await page.authenticate({ username, password }) | Proksi 407 cavabı verdikdə giriş məlumatlarını təqdim edir |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Hədəfi autentifikasiyadan keçmiş proksi vasitəsilə yükləyir |
Vərəqlər, kontekstlər və birdən çox IP
page.authenticate()hər səhifə üçün təyin edilir:browser.newPage()ilə açılan hər bir vərəq ilkgoto()çağırışından əvvəl öz çağırışına ehtiyac duyur- İşəsalma bayrağı bütün brauzer üçün vahid bir proksi təyin edir. Bir Chrome prosesində hər kontekst üçün fərqli IP əldə etmək məqsədilə hər bir
http://user:pass@ip:portünvanınıproxy-chainpaketindəkianonymizeProxy()funksiyasından keçirin və nəticəniproxyServerkimibrowser.createBrowserContext({ proxyServer })metoduna ötürün - Bu quraşdırma
puppeteer-extravəpuppeteer-extra-plugin-stealthilə də eyni şəkildə işləyir - Həmişə prosesi
browser.close()ilə bitirin, o cümlədən xəta yollarında, əks halda headless Chrome prosesləri serverdə toplanıb qalacaq
SOCKS5 proksisi ilə Puppeteer
Chrome SOCKS5 proksisindən istifadə edə bilir (--proxy-server=socks5://IP:PORT), lakin ona daxil ola bilmir və page.authenticate() SOCKS üçün tətbiq edilmir. ProxyV4 proksisi ilə (SOCKS5 Vyetnamdan kənarda təklif olunur; Vyetnam IP-ləri yalnız HTTP-dir) iki etibarlı seçiminiz var: sifarişi HTTP və ya ikili rejimə keçirib yuxarıdakı nümunədən istifadə edin, yaxud proxy-chain paketinə sizin əvəzinizə daxil olan yerli və şifrəsiz yönləndirici açmağa icazə verin:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);IP ağ siyahısı ilə giriş üçüncü üsuldur: maşının ictimai IP ünvanını sifarişə əlavə edin və Chrome heç bir giriş məlumatı olmadan qoşulacaq.
Puppeteer parkı üçün IP-lərin seçilməsi
Headless Chrome tam səhifələri, skriptləri və şəkilləri yükləyir, buna görə də ölçülən trafik sürətlə artır. ProxyV4 fərdi IPv4 və statik ISP proksilərində trafik məhdudiyyəti yoxdur, hər bir IP yalnız bir müştəriyə xidmət edir və müddətin uzadılması eyni ünvanı saxlayır ki, bu da sessiya və ya icazə siyahısı ona bağlı olduqda vacibdir. Hədəf sayt data mərkəzi diapazonlarına fərqli yanaşırsa, fərdi IPv4 məhsulunu statik ISP məhsulu ilə müqayisə edin.
Addım-addım
- 1
Chrome-u proksi ünvanı ilə başladın
ProxyV4 sifarişinizdəki IP və portdan istifadə edərək, brauzeri
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });ilə başladın. - 2
Vərəqi autentifikasiyadan keçirin
const page = await browser.newPage();ilə səhifə açın və hər hansı naviqasiyadan əvvəlawait page.authenticate({ username: 'USER', password: 'PASS' });çağırın. - 3
Çıxış IP ünvanını yoxlayın
await page.goto('https://proxyv4.com/api/my-ip');ilə səhifəyə keçin və cavabda proksi ünvanının göstərildiyini yoxlayın. - 4
Brauzeri bağlayın
Heç bir Chrome prosesinin açıq qalmaması üçün
await browser.close();ilə tamamlayın.
Tez-tez verilən suallar
Puppeteer-də ERR_NO_SUPPORTED_PROXIES xətasına nə səbəb olur?
Bayrağın daxilindəki giriş məlumatları, məsələn, --proxy-server=http://user:pass@ip:port şəklində olduqda. --proxy-server=http://ip:port istifadə edin və istifadəçi adı ilə şifrəni page.authenticate() vasitəsilə ötürün.
İlk vərəqim işləyir, lakin yeni vərəqdə HTTP 407 xətası alınır. Niyə?
Autentifikasiya hər səhifə üçün ayrıca saxlanılır. Açdığınız hər səhifədə keçid etməzdən əvvəl await newTab.authenticate({ username, password }) çağırın.
Bir Puppeteer brauzeri eyni anda bir neçə proksidən istifadə edə bilərmi?
Təkcə işəsalma bayrağı ilə xeyr. Hər bir autentifikasiyadan keçmiş proksini yerli ünvana çevirmək və hər brauzer kontekstinə öz proxyServer parametrini vermək üçün proxy-chain istifadə edin, yaxud hər proksi üçün bir brauzer başladın.
Proksiləri Puppeteer-ə verməzdən əvvəl onların çoxunu necə yoxlaya bilərəm?
Onları proksi yoxlayıcıya yapışdırın; o, eyni vaxtda 100-ə qədərini emal edir və şifrələri saxlamır.
page.authenticate() SOCKS5 proksimlə niyə işləmir?
Chrome SOCKS5 üçün istifadəçi adı və şifrə ilə girişi dəstəkləmir, buna görə də Puppeteer-in cavab verəcəyi heç nə yoxdur. Sifarişin HTTP rejimindən, proxy-chain paketindən yerli yönləndiricidən və ya IP ağ siyahısı ilə girişdən istifadə edin.
Mənbələr
Headless Chrome üçün limitsiz IP-lər
7 ölkədə fərdi IPv4 və ABŞ ilə Vyetnamda statik ISP, ödənişdən dərhal sonra avtomatik təqdim olunur, hər IP-yə yalnız bir müştəri.
ABŞ üzrə canlı qiymətlərə baxın