ProxyV4

Python requests նույնականացված պրոքսիի միջոցով՝ քայլ առ քայլ

· Updated:

Python requests-ում պրոքսի օգտագործելու համար փոխանցեք proxies բառարան, որի 'http' և 'https' բանալիները հղվում են http://user:pass@ip:port-ին: Կցեք այդ բառարանը requests.Session()-ին, և պրոքսիի հետ նույն միացումը կվերաօգտագործվի յուրաքանչյուր հարցման համար, ինչն ավելի արագ է, քան ամեն անգամ նորը բացելը: Ստորև ներկայացված են բառարանը, սեսիան, հնարավոր սխալները և ProxyV4-ի ելքային IP-ի մեկտողանի ստուգումը:

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Private IPv4 (datacenter)
🇺🇸 Միացյալ Նահանգներ
Առկա է
Սկսած
1,10 $ / IP / ամիս
Քանակային զեղչեր
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Գնել Միացյալ Նահանգներ
Private IPv4 (datacenter)
🇻🇳 Վիետնամ
Առկա է
Սկսած
1,10 $ / IP / ամիս
Քանակային զեղչեր
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Գնել Վիետնամ
Պրոքսիներ ըստ հարթակի:Web Scraping & CrawlingSEO & SERP TrackingAmazon

proxies բառարանի բացատրությունը

ԿարգավորումԱրժեքՊատճառ
'http' բանալի'http://user:pass@ip:port'Օգտագործվում է սովորական http:// հասցեների համար
'https' բանալի'http://user:pass@ip:port'Միևնույն է http:// պրոքսի URL է. urllib3-ը պրոքսիից CONNECT թունել է հարցնում և դրա ներսում գործարկում TLS
timeouttimeout=(5, 15)5 վրկ միանալու և 15 վրկ կարդալու համար, որպեսզի անհասանելի նպատակակետը չսառեցնի հոսքը
Ռոտացիաitertools.cycle(proxy_list)Հերթով տրամադրում է ձեր ստատիկ IP-ները

Ինչու է Session-ն ավելի լավ, քան պարզ requests.get()-ը

Յուրաքանչյուր առանձին requests.get() կանչ ստեղծում է նոր միացումների փուլ, ուստի պրոքսիի հետ TCP միացումը և կայքի հետ TLS ձեռքսեղմումը կրկնվում են ամեն անգամ: Session-ը պահպանում է այդ միացումները կանչերի միջև: Մեկ IP-ով հարյուրավոր էջեր ներբեռնող սկրիպտի համար այդ տարբերությունն ակնհայտ է դառնում կատարման ընդհանուր ժամանակում:

Կարգավորեք s.proxies.update(proxies) մեկ անգամ, և յուրաքանչյուր s.get() ու s.post() կանցնի պրոքսիով: Հաշվի առեք. եթե միջավայրում սահմանված են HTTP_PROXY կամ HTTPS_PROXY, requests-ը կարող է դրանք միավորել սեսիայի կարգավորումների հետ. բուն կանչի մեջ փոխանցեք proxies=, երբ պետք է համոզված լինել, թե որն է օգտագործվում:

Սխալները և ինչպես հասկանալ դրանք

  • ProxyError 407 Proxy Authentication Required-ով. պրոքսին հասանելի է, բայց URL-ի մուտքանունը չի համապատասխանում պատվերին: Տեսեք 407 սխալի էջը
  • @, : կամ / պարունակող գաղտնաբառերը խաթարում են URL-ը. նախապես կոդավորեք դրանք urllib.parse.quote(password, safe='')-ով
  • Պրոքսիի URL-ը https://-ի փոխելը սովորաբար խզում է միացումը. պահպանեք http:// երկու բանալիների համար էլ, եթե ձեր պրոքսիի միացքը հատուկ TLS միացք չէ
  • ConnectTimeout-ը մատնանշում է IP-ն կամ միացքը, ոչ թե մուտքային տվյալները. ստուգեք հասանելիությունը միացքի ստուգիչով

Նույն մոդելը httpx-ում և aiohttp-ում

URL-ի ձևաչափը նույնն է մնում: httpx-ում ստեղծեք httpx.Client(proxy='http://user:pass@ip:port'), իսկ aiohttp-ում փոխանցեք proxy= պարամետրը session.get(url, proxy=...)-ին: Պլանավորմամբ և կրկնակի փորձերով ավելի մեծածավալ տվյալների հավաքագրումը սովորաբար ավելի հեշտ է կազմակերպել Scrapy-ում:

Քայլ առ քայլ

  1. 1

    Ձևավորեք պրոքսիի URL-ը

    Վերագրեք ProxyV4-ի յուրաքանչյուր ip:port:user:pass տող որպես http://user:pass@ip:port կամ փոխակերպեք ամբողջ ցանկը պրոքսիի ձևաչափի փոխակերպիչով:

  2. 2

    Ստեղծեք բառարանը

    Գրեք proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}:

  3. 3

    Կցեք այն Session-ին

    Ստեղծեք s = requests.Session() և կանչեք s.proxies.update(proxies), որպեսզի միացումները պահպանվեն հարցումների միջև:

  4. 4

    Արտածեք ելքային IP-ն

    Գործարկեք print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()). արդյունքում երևացող IP-ն պետք է լինի պրոքսիինը:

Հաճախ տրվող հարցեր

Ինչո՞ւ է 'https' գրառումը http:// URL:

Սխեման նկարագրում է, թե ինչպես է Python-ը հաղորդակցվում պրոքսիի, այլ ոչ թե կայքի հետ: urllib3-ը միանում է պրոքսիին սովորական HTTP-ով, ուղարկում CONNECT և այդ թունելի միջոցով կատարում TLS https:// կայքի հետ, ուստի էջի տրաֆիկը մնում է գաղտնագրված:

Ինչպե՞ս բաշխել հարցումները 25 ստատիկ պրոքսիների միջև:

Տեղադրեք 25 URL-ները ցանկում, ստեղծեք pool = itertools.cycle(PROXIES), իսկ յուրաքանչյուր հարցման համար վերցրեք p = next(pool) և փոխանցեք proxies={'http': p, 'https': p}: Յուրաքանչյուր IP-ի համար պահպանեք ողջամիտ դադար, որպեսզի որևէ առանձին հասցե չծանրաբեռնվի:

Արդյո՞ք Python սկրիպտների տրաֆիկը սահմանափակվում է:

Ոչ: ProxyV4-ի անհատական IPv4 և ստատիկ ISP սակագնային պլաններն ունեն անսահմանափակ թողունակություն, ուստի երկար աշխատող սկրիպտները տվյալների սահմանաչափի չեն բախվում:

Աղբյուրներ

Ստատիկ IP-ների փաթեթ Python սկրիպտների համար

Անհատական IPv4 7 երկրում, ինչպես նաև ստատիկ ISP ԱՄՆ-ում և Վիետնամում: Գնեք մեկ IP կամ փաթեթով. մեկ IP-ի գինը նվազում է քանակի հետ:

Տեսնել ԱՄՆ ընթացիկ գները

Related articles

Պրոքսիներ ըստ հարթակի
Պրոքսիներ web scraping-ի համար. IP-ների ֆիքսված փուլ՝ անսահմանափակ թրաֆիկով
Web scraping պրոքսիներ Python-ի, Scrapy-ի, Playwright-ի և Selenium-ի համար. առանձնացված IPv4 և ստատիկ ISP, անսահմանափակ թրաֆիկ, ֆիքսված գին ըստ IP-ի:
Պրոքսիի կարգավորում
Playwright պրոքսիի նույնականացում. մեկ ստատիկ IP յուրաքանչյուր կոնտեքստի համար
Տվեք Playwright-ի ամեն կոնտեքստին նույնականացված HTTP(S) պրոքսի Node.js-ում կամ Python-ում, հարմարեցրեք ժամային գոտին ու լոկալը IP-ին և ստուգեք ելքային հասցեն:
Պրոքսիի կարգավորում
Scrapy պրոքսիներ. meta['proxy'], middleware-ի կարգ և ռոտացիա
Նույնականացված HTTP(S) պրոքսիներ Scrapy-ում. կարգավորեք request.meta['proxy']-ն, դասավորեք middleware-ը HttpProxyMiddleware-ից (750) առաջ ու հերթագայեք IP-ները:
Անվճար գործիքներ
Վերափոխեք պրոքսի ցուցակն այն ձևաչափի, որն ակնկալում է ձեր գործիքը
Փոխարկեք պրոքսի ցուցակները բրաուզերում ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON զանգվածների և FoxyProxy ֆայլերի միջև՝ խմբաքանակով:
Պրոքսիներ ըստ հարթակի
Պրոքսիներ SEO դիրքերի ստուգման համար. տեսեք արդյունքների էջն այնպես, ինչպես տեսնում է տեղացի օգտատերը
SEO դիրքերի ստուգման պրոքսիներ անհատական IPv4-ով ԱՄՆ-ում, ՄԹ-ում, Վիետնամում, Ճապոնիայում և 4 այլ երկրում. դիրքերն ու գովազդը՝ ինչպես տեսնում են տեղացիները:
Պրոքսիներ ըստ հարթակի
Amazon seller պրոքսիներ, որոնք յուրաքանչյուր հաշվին տալիս են մշտական հասցե
Amazon seller պրոքսիներ Seller Central-ի, KDP-ի և Merch-ի համար. ԱՄՆ ստատիկ ISP կամ ՄԹ/Ճապոնիայի մասնավոր IPv4՝ մեկ հաշվին, միայն ձեզ և նույնը երկարաձգելիս:
IPV4 · united states
ԱՄՆ-ի անհատական IPv4 պրոքսի փուլ՝ սքրեյփինգի, դիրքերի հետևման և գովազդի ստուգման համար
Գնեք ԱՄՆ պրիվատ IPv4 պրոքսիներ՝ ստատիկ դատացենտրի IP-ներ, մեկ հաճախորդ մեկ IP-ին, անսահմանափակ տրաֆիկ: Սքրեյփինգի, SERP-ի և ԱՄՆ գովազդի ստուգման համար:
IPV4 · vietnam
Վիետնամի անհատական IPv4 պրոքսի․ մեկ ֆիքսված IP յուրաքանչյուր հաշվի համար մեծ ծավալներով
Վիետնամի անհատական IPv4 պրոքսիներ. ստատիկ դատա-կենտրոնի IP-ներ մեկ հաճախորդի համար՝ մեծածախ գնով: Սիդինգի, երկրորդային Shopee խանութների ու գործիքների համար: