ProxyV4

Python requests sa authenticated na proxy, bawat hakbang

· Updated:

Para gumamit ng proxy sa Python requests, magpasa ng proxies dict kung saan ang mga key na 'http' at 'https' ay parehong nakaturo sa http://user:pass@ip:port. Ilagay ang dict na iyon sa isang requests.Session() at ang parehong koneksyon sa proxy ay muling gagamitin para sa bawat tawag, na mas mabilis kaysa sa pagbubukas ng bago sa bawat request. Sa ibaba: ang dict, ang session, ang mga error na malamang mong maranasan, at isang linyang pagsusuri ng exit IP ng ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Private IPv4 (datacenter)
🇺🇸 United States
May stock
Mula
$1.10 / IP / buwan
Mga diskwento batay sa dami
  • 1 IP$1.85
  • 3+ na IP$1.70
  • 10+ na IP$1.60
  • 25+ na IP$1.50
  • 50+ na IP$1.40
  • 100+ na IP$1.30
  • 200+ na IP$1.20
  • 500+ na IP$1.10
Bumili sa United States
Private IPv4 (datacenter)
🇻🇳 Vietnam
May stock
Mula
$1.10 / IP / buwan
Mga diskwento batay sa dami
  • 1 IP$1.85
  • 3+ na IP$1.70
  • 10+ na IP$1.60
  • 25+ na IP$1.50
  • 50+ na IP$1.40
  • 100+ na IP$1.30
  • 200+ na IP$1.20
  • 500+ na IP$1.10
Bumili sa Vietnam

Paliwanag sa proxies dict

SettingValueDahilan
Key na 'http''http://user:pass@ip:port'Ginagamit para sa mga plain na http:// URL
Key na 'https''http://user:pass@ip:port'http:// proxy URL pa rin: humihingi ang urllib3 sa proxy ng CONNECT tunnel at nagpapatakbo ng TLS sa loob nito
timeouttimeout=(5, 15)5 s para kumonekta, 15 s para magbasa, upang hindi ma-freeze ng patay na target ang thread
Pag-ikotitertools.cycle(proxy_list)Ipinapamahagi ang iyong mga static IP nang sunod-sunod

Bakit mas maganda ang Session kaysa sa payak na requests.get()

Bawat top-level na tawag sa requests.get() ay bumubuo ng bagong connection pool, kaya paulit-ulit ang koneksyon ng TCP sa proxy at ang TLS handshake sa site sa bawat pagkakataon. Pinapanatili ng Session na aktibo ang mga koneksyong iyon sa pagitan ng mga tawag. Para sa isang script na kumukuha ng daan-daang pahina sa iisang IP, malinaw na makikita ang pagkakaibang iyon sa kabuuang oras ng pagpapatakbo.

Itakda ang s.proxies.update(proxies) nang isang beses at bawat s.get() at s.post() ay dadaan sa proxy. Isang bagay na dapat malaman: kung nakatakda ang HTTP_PROXY o HTTPS_PROXY sa environment, maaaring pagsamahin ng requests ang mga ito sa mga setting ng session; ipasa ang proxies= sa mismong tawag kung kailangan mong makasiguro kung alin ang ginagamit.

Mga error at kung paano unawain ang mga ito

  • ProxyError na may 407 Proxy Authentication Required: naaabot ang proxy ngunit hindi tumutugma sa order ang login sa iyong URL. Tingnan ang 407 error page
  • Ang mga password na naglalaman ng @, :, o / ay sumisira sa URL; i-encode muna ang mga ito gamit ang urllib.parse.quote(password, safe='')
  • Karaniwang sumisira sa koneksyon ang paglipat ng proxy URL sa https://; panatilihin ang http:// para sa parehong key maliban kung partikular na TLS port ang iyong proxy port
  • Tumutukoy ang ConnectTimeout sa IP o port, hindi sa mga kredensyal; subukan kung naaabot gamit ang port checker

Ganoon ding pattern sa httpx at aiohttp

Nalalapat din ang format ng URL. Sa httpx, gumawa ng httpx.Client(proxy='http://user:pass@ip:port'); sa aiohttp, ipasa ang proxy= sa session.get(url, proxy=...). Ang mas malalaking crawl na may scheduling at mga retry ay karaniwang mas madali sa Scrapy.

Hakbang-hakbang

  1. 1

    Buuin ang proxy URL

    Isulat muli ang bawat linyang ip:port:user:pass ng ProxyV4 bilang http://user:pass@ip:port, o i-convert ang buong listahan gamit ang proxy format converter.

  2. 2

    Gawin ang dict

    Isulat ang proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Ikabit ito sa isang Session

    Gumawa ng s = requests.Session() at tawagin ang s.proxies.update(proxies) upang manatiling aktibo ang mga koneksyon sa pagitan ng mga request.

  4. 4

    I-print ang exit IP

    Patakbuhin ang print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); ang IP sa output ay dapat sa proxy.

Mga madalas itanong

Bakit isang http:// URL ang 'https' entry?

Inilalarawan ng scheme kung paano nakikipag-usap ang Python sa proxy, hindi sa website. Kumokonekta ang urllib3 sa proxy sa pamamagitan ng plain HTTP, nagpapadala ng CONNECT, at pagkatapos ay nagsasagawa ng TLS sa https:// site sa pamamagitan ng tunnel na iyon, kaya naka-encrypt pa rin ang trapiko ng pahina.

Paano ko ipapamahagi ang mga request sa 25 static proxy?

Ilagay ang 25 URL sa isang listahan, gumawa ng pool = itertools.cycle(PROXIES), at para sa bawat request kumuha ng p = next(pool) at ipasa ang proxies={'http': p, 'https': p}. Magpanatili ng makatwirang pagkaantala bawat IP upang walang iisang address ang mabigatan nang husto.

Sinusukat ba ang trapiko mula sa mga Python script?

Hindi. Ang mga private IPv4 at static ISP plan ng ProxyV4 ay may kasamang walang limitasyong bandwidth, kaya ang mga script na matagal tumakbo ay hindi aabot sa data cap.

Mga Sanggunian

Isang static IP pool para sa mga Python script

Private IPv4 sa 7 bansa kasama ang static ISP sa US at Vietnam. Bumili ng iisang IP o maramihan; bumababa ang presyo bawat IP kapag mas marami ang dami.

Tingnan ang live na presyo sa US

Related articles

Mga proxy ayon sa platform
Mga proxy para sa web scraping: fixed pool ng mga IP na may unmetered traffic
Web scraping proxy para sa Python, Scrapy, Playwright at Selenium: pool ng pribadong IPv4 at static ISP, walang limitasyong bandwidth, fixed na singil kada IP.
Pag-setup ng proxy
Playwright proxy authentication, isang static IP bawat context
Bigyan ang bawat Playwright context ng naka-auth na HTTP(S) proxy sa Node.js o Python, itugma ang timezone at locale sa IP, at kumpirmahin ang exit address.
Pag-setup ng proxy
Mga proxy sa Scrapy: meta['proxy'], ayos ng middleware, at pag-rotate
Gumamit ng authenticated HTTP(S) proxy sa Scrapy: i-set ang request.meta['proxy'], unahin sa HttpProxyMiddleware (750), mag-rotate ng IP, at i-pace ang crawl.
Mga libreng tool
I-convert ang proxy list sa format na kailangan ng iyong tool
Mag-convert nang maramihan sa browser ng proxy list sa pagitan ng ip:port:user:pass, user:pass@ip:port, http:// URLs, SOCKS5 URIs, JSON at FoxyProxy.
Mga proxy ayon sa platform
Mga proxy para sa SEO rank tracking: tingnan ang resulta na nakikita ng lokal na naghahanap
SEO rank tracking proxy gamit ang pribadong IPv4 sa US, UK, Vietnam, Japan, at 4 pang merkado para tumugma ang ranking, local pack, at ads sa nakikita roon.
Mga proxy ayon sa platform
Mga Amazon seller proxy na nagbibigay ng permanenteng address sa bawat account
Mga Amazon seller proxy para sa Seller Central, KDP, at Merch: US static ISP o UK/Japan private IPv4 bawat account, solo mo lang at nananatili kapag nag-renew.
IPV4 · united states
Pool ng Pribadong IPv4 Proxy sa US para sa Scraping, Rank Tracking, at Pagsusuri ng Ad
Bumili ng US private IPv4 proxy: static American datacenter IP, 1 customer bawat IP, walang limitasyong bandwidth para sa scraping, SERP at US ad check.
IPV4 · vietnam
Pribadong IPv4 Proxy sa Vietnam: Isang Nakapirming IP bawat Account nang Maramihan
Mga private IPv4 proxy sa Vietnam: static datacenter IP, tig-iisang customer, at abot-kaya nang bultuhan. Para sa seeding, segundaryong Shopee shop, at tools.