සත්යාපිත ප්රොක්සියක් සහිත Puppeteer: launch flag සහ ලොගින් වීම
ProxyV4 ඉංජිනේරු කණ්ඩායම විසිනි · Updated:
Puppeteer ප්රොක්සි සත්යාපනය ස්ථාන දෙකකදී සිදු වේ: ප්රොක්සි ලිපිනය --proxy-server=http://ip:port launch flag එකට ඇතුළත් වන අතර, පරිශීලක නාමය සහ මුරපදය await page.authenticate({ username, password }) වෙත ඇතුළත් වේ. Chrome විසින් DevTools Protocol හරහා එම අක්තපත්ර සමඟ ප්රොක්සියේ 407 challenge එකට පිළිතුරු සපයන බැවින්, ඔබේ Node.js ස්ක්රිප්ටයට බ්රවුසර extension එකක් නොමැතිව ProxyV4 IP එකක් භාවිතා කළ හැක.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
Puppeteer ප්රොක්සි සත්යාපනය: සම්පූර්ණ නිදසුනක්
පළමු navigation එකට පෙර ප්රොක්සි ලිපිනය --proxy-server තුළින්ද, login තොරතුරු page.authenticate() හරහාද ලබා දෙන්න. මෙම script එක හරියටම එය සිදු කර exit IP එක මුද්රණය කරයි, එවිට ඔබට එකවර ධාවනයකින් ප්රොක්සිය තහවුරු කරගත හැක:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();ප්රතිදානය මඟින් 200 තත්ත්වය සහ ප්රොක්සියේ IP පෙන්විය යුතුය. 407, ERR_TUNNEL_CONNECTION_FAILED හෝ ඔබගේම IP එකක් දිස්වන්නේ නම් ඉන් අදහස් වන්නේ කොටස් දෙකෙන් එකක් මඟහැරී ඇති බවයි; proxy not working හි මෙවලම් අනුව සාමාන්ය හේතු දක්වා ඇත.
login තොරතුරු flag එකෙහි කොටසක් නොවන්නේ ඇයි
Chrome විසින් --proxy-server තුළ credentials භාර නොගනී. ඔබ --proxy-server=http://user:pass@ip:port ලෙස ලියන්නේ නම්, browser එකට එම අගය භාවිත කළ නොහැකි වන අතර සාමාන්යයෙන් ERR_NO_SUPPORTED_PROXIES සමඟින් ඉල්ලීම් අසාර්ථක වේ. flag එක ලිපිනයට සහ port එකට සීමා කර, login තොරතුරු පිටුවට භාර දෙන්න.
| අනුපිළිවෙල | Call එක | එයින් සිදුවන දේ |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | සෑම ඉල්ලීමක්ම භාවිත කළ යුතු ප්රොක්සිය කුමක්දැයි Chrome වෙත කියයි |
| 2 | await page.authenticate({ username, password }) | ප්රොක්සිය 407 ප්රතිචාරයක් ලබා දෙන විට credentials සපයයි |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | සත්යාපිත ප්රොක්සිය හරහා ඉලක්කය load කරයි |
Tabs, contexts සහ IP එකකට වඩා වැඩි ප්රමාණයක්
page.authenticate()සකසනු ලබන්නේ එක් එක් පිටුව අනුවයි:browser.newPage()මඟින් විවෘත වන සෑම tab එකකටම පළමුgoto()එකට පෙර ඊටම ආවේණික call එකක් අවශ්ය වේ- launch flag එක මඟින් මුළු browser එක සඳහාම එක් ප්රොක්සියක් ස්ථාවර කරයි. එක් Chrome process එකක context එකකට වෙනස් IP එකක් ලබා ගැනීම සඳහා, එක් එක්
http://user:pass@ip:portproxy-chainpackage එකෙහිanonymizeProxy()හරහා ධාවනය කර, එහි ප්රතිඵලයbrowser.createBrowserContext({ proxyServer })වෙතproxyServerලෙස ලබා දෙන්න - මෙම සැකසුම
puppeteer-extraසහpuppeteer-extra-plugin-stealthසමඟද එක හා සමානව ක්රියා කරයි - දෝෂ ඇති වන අවස්ථාවලදී ද ඇතුළුව සෑම විටම
browser.close()සමඟ අවසන් කරන්න, නැතහොත් සර්වරය මත headless Chrome processes එකතු විය හැක
SOCKS5 ප්රොක්සියක් සමඟ Puppeteer
Chrome හට SOCKS5 ප්රොක්සියක් (--proxy-server=socks5://IP:PORT) භාවිත කළ හැකි නමුත්, එකකට log in විය නොහැක, තවද page.authenticate() SOCKS සඳහා අදාළ නොවේ. ProxyV4 ප්රොක්සියක් සමඟ (වියට්නාමයෙන් පිටත SOCKS5 පිරිනමනු ලැබේ; වියට්නාම IP සඳහා HTTP පමණි) ඔබට පැහැදිලි විකල්ප දෙකක් තිබේ: ඇණවුම HTTP හෝ dual මාදිලියට මාරු කර ඉහත නිදසුන භාවිත කරන්න, නැතහොත් ඔබ වෙනුවෙන් log in වන local, මුරපද-රහිත forwarder එකක් විවෘත කිරීමට proxy-chain ට ඉඩ දෙන්න:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);IP whitelist login යනු තෙවන ක්රමයයි: පරිගණකයේ public IP එක ඇණවුමට එක් කරන්න, එවිට Chrome කිසිදු credentials නොමැතිව සම්බන්ධ වේ.
Puppeteer fleet එකක් සඳහා IP තෝරා ගැනීම
Headless Chrome මඟින් සම්පූර්ණ පිටු, scripts සහ පින්තූර බාගත කරයි, එබැවින් මනිනු ලබන දත්ත භාවිතය ඉක්මනින් එකතු වේ. ProxyV4 පුද්ගලික IPv4 සහ static ISP ප්රොක්සි සඳහා bandwidth සීමා කිරීම් නොමැත, සෑම IP එකක්ම එක් පාරිභෝගිකයෙකුට පමණක් සේවය සපයයි, සහ අලුත් කිරීමේදී එකම ලිපිනය පවත්වා ගනී, session එකක් හෝ allow-list එකක් ඊට සම්බන්ධ වී ඇති විට මෙය වැදගත් වේ. ඉලක්කගත වෙබ් අඩවිය datacenter පරාසයන් වෙනස් ලෙස සලකන්නේ නම්, private IPv4 product එක static ISP product සමඟ සංසන්දනය කරන්න.
පියවරෙන් පියවර
- 1
ප්රොක්සි ලිපිනය සමඟ Chrome ආරම්භ කරන්න
ඔබගේ ProxyV4 ඇණවුමෙන් ලැබුණු IP සහ port එක භාවිතයෙන්,
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });සමඟ බ්රවුසරය ආරම්භ කරන්න. - 2
ටැබ් එක සත්යාපනය කරන්න
const page = await browser.newPage();සමඟ පිටුවක් විවෘත කර ඕනෑම සංචාලනයකට පෙරawait page.authenticate({ username: 'USER', password: 'PASS' });අමතන්න. - 3
පිටවීමේ IP ලිපිනය පරීක්ෂා කරන්න
await page.goto('https://proxyv4.com/api/my-ip');සමඟින් සංචාලනය කර ප්රතිචාරය මඟින් ප්රොක්සි ලිපිනය පෙන්වන්නේ දැයි පරීක්ෂා කරන්න. - 4
බ්රවුසරය වසා දමන්න
කිසිදු Chrome ක්රියාවලියක් ධාවනය නොවී ඉතිරි නොවන පරිදි
await browser.close();සමඟින් අවසන් කරන්න.
නිතර අසන ප්රශ්න
Puppeteer හි ERR_NO_SUPPORTED_PROXIES ඇතිවීමට හේතුව කුමක්ද?
--proxy-server=http://user:pass@ip:port හි මෙන් flag එක තුළ credentials ඇතුළත් කිරීමයි. --proxy-server=http://ip:port භාවිත කර, username සහ password page.authenticate() හරහා ලබා දෙන්න.
මගේ පළමු tab එක ක්රියා කරයි, නමුත් නව tab එකකට HTTP 407 දෝෂයක් ලැබේ. ඒ මන්ද?
සත්යාපනය එක් එක් පිටුවට වෙන වෙනම ගබඩා වේ. ඔබ විවෘත කරන සෑම පිටුවක්ම navigate වීමට පෙර, ඒ මත await newTab.authenticate({ username, password }) call කරන්න.
එක් Puppeteer browser එකකට එකවර ප්රොක්සි කිහිපයක් භාවිත කළ හැකිද?
launch flag එක මඟින් පමණක් කළ නොහැක. එක් එක් සත්යාපිත ප්රොක්සියක් local ලිපිනයක් බවට පත් කිරීමට proxy-chain භාවිත කර, සෑම browser context එකකටම ඊටම ආවේණික proxyServer එකක් ලබා දෙන්න, නැතහොත් එක් ප්රොක්සියකට එක browser එක බැගින් ආරම්භ කරන්න.
Puppeteer වෙත ලබා දීමට පෙර ප්රොක්සි රැසක් පරීක්ෂා කරන්නේ කෙසේද?
ඒවා proxy checker වෙත paste කරන්න; එයට එකවර 100 ක් දක්වා හැසිරවිය හැකි අතර මුරපද ගබඩා නොකරයි.
මගේ SOCKS5 ප්රොක්සිය සමඟ page.authenticate() ක්රියා නොකරන්නේ මන්ද?
Chrome මඟින් SOCKS5 සඳහා username සහ password login සඳහා සහය නොදක්වයි, එබැවින් Puppeteer හට පිළිතුරු දීමට කිසිවක් නොමැත. ඇණවුමේ HTTP මාදිලිය, proxy-chain මඟින් local forwarder එකක්, හෝ IP whitelist login භාවිත කරන්න.
මූලාශ්ර
Headless Chrome සඳහා අසීමිත IP
රටවල් 7 ක පුද්ගලික IPv4 සහ US හා වියට්නාමයේ ස්ථිතික ISP, ගෙවීමෙන් පසු ස්වයංක්රීයව නිකුත් කෙරේ, එක් IP එකකට එක් පාරිභෝගිකයෙකු පමණි.
US සජීවී මිල ගණන් පරීක්ෂා කරන්න