Python requests նույնականացված պրոքսիի միջոցով՝ քայլ առ քայլ
ProxyV4-ի ինժեներական թիմի կողմից · Updated:
Python requests-ում պրոքսի օգտագործելու համար փոխանցեք proxies բառարան, որի 'http' և 'https' բանալիները հղվում են http://user:pass@ip:port-ին: Կցեք այդ բառարանը requests.Session()-ին, և պրոքսիի հետ նույն միացումը կվերաօգտագործվի յուրաքանչյուր հարցման համար, ինչն ավելի արագ է, քան ամեն անգամ նորը բացելը: Ստորև ներկայացված են բառարանը, սեսիան, հնարավոր սխալները և ProxyV4-ի ելքային IP-ի մեկտողանի ստուգումը:
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
proxies բառարանի բացատրությունը
| Կարգավորում | Արժեք | Պատճառ |
|---|---|---|
'http' բանալի | 'http://user:pass@ip:port' | Օգտագործվում է սովորական http:// հասցեների համար |
'https' բանալի | 'http://user:pass@ip:port' | Միևնույն է http:// պրոքսի URL է. urllib3-ը պրոքսիից CONNECT թունել է հարցնում և դրա ներսում գործարկում TLS |
timeout | timeout=(5, 15) | 5 վրկ միանալու և 15 վրկ կարդալու համար, որպեսզի անհասանելի նպատակակետը չսառեցնի հոսքը |
| Ռոտացիա | itertools.cycle(proxy_list) | Հերթով տրամադրում է ձեր ստատիկ IP-ները |
Ինչու է Session-ն ավելի լավ, քան պարզ requests.get()-ը
Յուրաքանչյուր առանձին requests.get() կանչ ստեղծում է նոր միացումների փուլ, ուստի պրոքսիի հետ TCP միացումը և կայքի հետ TLS ձեռքսեղմումը կրկնվում են ամեն անգամ: Session-ը պահպանում է այդ միացումները կանչերի միջև: Մեկ IP-ով հարյուրավոր էջեր ներբեռնող սկրիպտի համար այդ տարբերությունն ակնհայտ է դառնում կատարման ընդհանուր ժամանակում:
Կարգավորեք s.proxies.update(proxies) մեկ անգամ, և յուրաքանչյուր s.get() ու s.post() կանցնի պրոքսիով: Հաշվի առեք. եթե միջավայրում սահմանված են HTTP_PROXY կամ HTTPS_PROXY, requests-ը կարող է դրանք միավորել սեսիայի կարգավորումների հետ. բուն կանչի մեջ փոխանցեք proxies=, երբ պետք է համոզված լինել, թե որն է օգտագործվում:
Սխալները և ինչպես հասկանալ դրանք
ProxyError407 Proxy Authentication Required-ով. պրոքսին հասանելի է, բայց URL-ի մուտքանունը չի համապատասխանում պատվերին: Տեսեք 407 սխալի էջը@,:կամ/պարունակող գաղտնաբառերը խաթարում են URL-ը. նախապես կոդավորեք դրանքurllib.parse.quote(password, safe='')-ով- Պրոքսիի URL-ը
https://-ի փոխելը սովորաբար խզում է միացումը. պահպանեքhttp://երկու բանալիների համար էլ, եթե ձեր պրոքսիի միացքը հատուկ TLS միացք չէ ConnectTimeout-ը մատնանշում է IP-ն կամ միացքը, ոչ թե մուտքային տվյալները. ստուգեք հասանելիությունը միացքի ստուգիչով
Նույն մոդելը httpx-ում և aiohttp-ում
URL-ի ձևաչափը նույնն է մնում: httpx-ում ստեղծեք httpx.Client(proxy='http://user:pass@ip:port'), իսկ aiohttp-ում փոխանցեք proxy= պարամետրը session.get(url, proxy=...)-ին: Պլանավորմամբ և կրկնակի փորձերով ավելի մեծածավալ տվյալների հավաքագրումը սովորաբար ավելի հեշտ է կազմակերպել Scrapy-ում:
Քայլ առ քայլ
- 1
Ձևավորեք պրոքսիի URL-ը
Վերագրեք ProxyV4-ի յուրաքանչյուր
ip:port:user:passտող որպեսhttp://user:pass@ip:portկամ փոխակերպեք ամբողջ ցանկը պրոքսիի ձևաչափի փոխակերպիչով: - 2
Ստեղծեք բառարանը
Գրեք
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}: - 3
Կցեք այն Session-ին
Ստեղծեք
s = requests.Session()և կանչեքs.proxies.update(proxies), որպեսզի միացումները պահպանվեն հարցումների միջև: - 4
Արտածեք ելքային IP-ն
Գործարկեք
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()). արդյունքում երևացող IP-ն պետք է լինի պրոքսիինը:
Հաճախ տրվող հարցեր
Ինչո՞ւ է 'https' գրառումը http:// URL:
Սխեման նկարագրում է, թե ինչպես է Python-ը հաղորդակցվում պրոքսիի, այլ ոչ թե կայքի հետ: urllib3-ը միանում է պրոքսիին սովորական HTTP-ով, ուղարկում CONNECT և այդ թունելի միջոցով կատարում TLS https:// կայքի հետ, ուստի էջի տրաֆիկը մնում է գաղտնագրված:
Ինչպե՞ս բաշխել հարցումները 25 ստատիկ պրոքսիների միջև:
Տեղադրեք 25 URL-ները ցանկում, ստեղծեք pool = itertools.cycle(PROXIES), իսկ յուրաքանչյուր հարցման համար վերցրեք p = next(pool) և փոխանցեք proxies={'http': p, 'https': p}: Յուրաքանչյուր IP-ի համար պահպանեք ողջամիտ դադար, որպեսզի որևէ առանձին հասցե չծանրաբեռնվի:
Արդյո՞ք Python սկրիպտների տրաֆիկը սահմանափակվում է:
Ոչ: ProxyV4-ի անհատական IPv4 և ստատիկ ISP սակագնային պլաններն ունեն անսահմանափակ թողունակություն, ուստի երկար աշխատող սկրիպտները տվյալների սահմանաչափի չեն բախվում:
Աղբյուրներ
Ստատիկ IP-ների փաթեթ Python սկրիպտների համար
Անհատական IPv4 7 երկրում, ինչպես նաև ստատիկ ISP ԱՄՆ-ում և Վիետնամում: Գնեք մեկ IP կամ փաթեթով. մեկ IP-ի գինը նվազում է քանակի հետ:
Տեսնել ԱՄՆ ընթացիկ գները