Python requests läbi audenditud proksi, samm-sammult
Autor: ProxyV4 insenerimeeskond · Updated:
Proksi kasutamiseks Python requests teegis anna kaasa proxies sõnastik, mille võtmed 'http' ja 'https' viitavad mõlemad aadressile http://user:pass@ip:port. Määra see sõnastik objektile requests.Session() ning sama ühendust proksiga taaskasutatakse iga päringu jaoks, mis on kiirem kui iga päringu puhul uue avamine. Allpool: sõnastik, sessioon, vead, millega võid kokku puutuda, ja üherealine käsk teenuse ProxyV4 väljuva IP kontrollimiseks.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 $
- 3+ IP-d1,70 $
- 10+ IP-d1,60 $
- 25+ IP-d1,50 $
- 50+ IP-d1,40 $
- 100+ IP-d1,30 $
- 200+ IP-d1,20 $
- 500+ IP-d1,10 $
- 1 IP1,85 $
- 3+ IP-d1,70 $
- 10+ IP-d1,60 $
- 25+ IP-d1,50 $
- 50+ IP-d1,40 $
- 100+ IP-d1,30 $
- 200+ IP-d1,20 $
- 500+ IP-d1,10 $
Sõnastik proxies, selgitatud
| Seadistus | Väärtus | Põhjus |
|---|---|---|
'http' võti | 'http://user:pass@ip:port' | Kasutatakse tavaliste http:// URL-ide jaoks |
'https' võti | 'http://user:pass@ip:port' | Ikka http:// proksi URL: urllib3 küsib proksilt CONNECT-tunnelit ja käitab selle sees TLS-i |
timeout | timeout=(5, 15) | 5 s ühendumiseks, 15 s lugemiseks, et mittetöötav sihtmärk ei saaks lõime külmutada |
| Roteerimine | itertools.cycle(proxy_list) | Jagab sinu staatilisi IP-sid kordamööda |
Miks Session on parem kui tavaline requests.get()
Iga tipptaseme requests.get() kutse loob uue ühenduste kogumi, mistõttu korratakse iga kord TCP-ühendust proksiga ja TLS-kätlust veebisaidiga. Session hoiab need ühendused päringute vahel elus. Skripti puhul, mis laadib ühe IP kaudu alla sadu lehti, on see erinevus kogu käitusajas märgatav.
Määra s.proxies.update(proxies) üks kord ning iga s.get() ja s.post() liigub läbi proksi. Üks asi, mida teada: kui keskkonnamuutujad HTTP_PROXY või HTTPS_PROXY on määratud, võib requests need sessiooni seadistustega kombineerida; anna proxies= kaasa otse väljakutsel, kui pead olema kindel, kumba kasutatakse.
Vead ja kuidas neid lugeda
ProxyErrorkoos veaga407 Proxy Authentication Required: proksi on kättesaadav, kuid sinu URL-is olevad sisselogimisandmed ei vasta tellimusele. Vaata 407 vealehte- Paroolid, mis sisaldavad sümboleid
@,:või/, rikuvad URL-i; kodeeri need esmalt funktsioonigaurllib.parse.quote(password, safe='') - Proksi URL-i muutmine
https://peale tavaliselt katkestab ühenduse; jäta mõlema võtme jaokshttp://, välja arvatud juhul, kui sinu proksi port on spetsiaalselt TLS-port ConnectTimeoutviitab IP-le või pordile, mitte mandaadile; testi kättesaadavust pordi kontrollijaga
Sama muster teekides httpx ja aiohttp
URL-i vorming kandub üle. Teegis httpx loo httpx.Client(proxy='http://user:pass@ip:port'); teegis aiohttp anna proxy= väärtuseks session.get(url, proxy=...). Suuremate kraapimistööde tegemine koos ajastamise ja korduskatsetega on tavaliselt lihtsam raamistikus Scrapy.
Samm-sammult
- 1
Loo proksi URL
Kirjuta iga ProxyV4 rida
ip:port:user:passümber kujulehttp://user:pass@ip:portvõi teisenda terve loend proksi vormingu teisendajaga. - 2
Loo sõnastik
Kirjuta
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Seo see Sessioniga
Loo
s = requests.Session()ja kutsu väljas.proxies.update(proxies), et ühendused püsiksid päringute vahel elus. - 4
Prindi väljuv IP
Käivita
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); väljundis olev IP peaks olema proksi oma.
Korduma kippuvad küsimused
Miks on 'https' kirje http:// URL?
Skeem kirjeldab, kuidas Python suhtleb proksiga, mitte veebisaidiga. urllib3 ühendub proksiga üle tavalise HTTP, saadab CONNECT ja teeb seejärel läbi selle tunneli https:// saidiga TLS-ühenduse, seega on lehe liiklus endiselt krüpteeritud.
Kuidas jaotada päringuid 25 staatilise proksi vahel?
Pane 25 URL-i loendisse, loo pool = itertools.cycle(PROXIES) ning iga päringu jaoks võta p = next(pool) ja anna kaasa proxies={'http': p, 'https': p}. Jäta IP kohta mõistlik viivitus, et ühtegi aadressi üle ei koormataks.
Kas Pythoni skriptide liiklust mõõdetakse mahupõhiselt?
Ei. Teenuse ProxyV4 privaatsed IPv4 ja staatilised ISP paketid sisaldavad piiramatut ribalaiust, seega pikaajalised skriptid ei põrku andmemahu piiranguga.
Allikad
Staatiliste IP-de kogum Pythoni skriptidele
Privaatne IPv4 7 riigis ning staatiline ISP USAs ja Vietnamis. Osta üksik IP või partii; hind ühe IP kohta langeb kogusega.
Vaata USA reaalajas hindu