ProxyV4

Maombi ya Python requests kupitia proxy iliyothibitishwa, hatua kwa hatua

· Updated:

Ili kutumia proxy katika Python requests, pitisha kamusi ya proxies ambayo funguo zake za 'http' na 'https' zote zinaelekeza kwenye http://user:pass@ip:port. Weka kamusi hiyo kwenye requests.Session() na muunganisho ule ule kwa proxy utatumiwa tena kwa kila ombi, jambo ambalo ni la haraka zaidi kuliko kufungua mpya kwa kila ombi. Hapa chini: kamusi, session, hitilafu unazoweza kukutana nazo, na ukaguzi wa mstari mmoja wa IP ya kutokea ya ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
IPv4 Binafsi (kituo cha data)
🇺🇸 Marekani
Zinapatikana
Kuanzia
US$ 1.10 / IP / mwezi
Punguzo la kiasi
  • IP 1US$ 1.85
  • IP 3+US$ 1.70
  • IP 10+US$ 1.60
  • IP 25+US$ 1.50
  • IP 50+US$ 1.40
  • IP 100+US$ 1.30
  • IP 200+US$ 1.20
  • IP 500+US$ 1.10
Nunua Marekani
IPv4 Binafsi (kituo cha data)
🇻🇳 Vietnam
Zinapatikana
Kuanzia
US$ 1.10 / IP / mwezi
Punguzo la kiasi
  • IP 1US$ 1.85
  • IP 3+US$ 1.70
  • IP 10+US$ 1.60
  • IP 25+US$ 1.50
  • IP 50+US$ 1.40
  • IP 100+US$ 1.30
  • IP 200+US$ 1.20
  • IP 500+US$ 1.10
Nunua Vietnam

Ufafanuzi wa kamusi ya proxies

MipangilioThamaniSababu
Ufunguo wa 'http''http://user:pass@ip:port'Hutumika kwa URL za kawaida za http://
Ufunguo wa 'https''http://user:pass@ip:port'Bado ni URL ya proxy ya http://: urllib3 huomba proxy handaki ya CONNECT na kuendesha TLS ndani yake
timeouttimeout=(5, 15)Sekunde 5 za kuunganisha, sekunde 15 za kusoma, ili lengo lisilopatikana lisigandishe thread
Mzungukoitertools.cycle(proxy_list)Hutoa IP zako tuli kwa zamu

Kwa nini Session ni bora kuliko requests.get() ya kawaida

Kila wito wa kiwango cha juu wa requests.get() huunda bwawa jipya la miunganisho, kwa hivyo muunganisho wa TCP kwenye proxy na kupeana mikono kwa TLS na tovuti hurudiwa kila mara. Session huweka miunganisho hiyo hai kati ya miito. Kwa hati inayochukua mamia ya kurasa kupitia IP moja, tofauti hiyo inaonekana wazi katika muda wote wa utekelezaji.

Weka s.proxies.update(proxies) mara moja na kila s.get() na s.post() itapita kwenye proxy. Jambo moja la kufahamu: ikiwa HTTP_PROXY au HTTPS_PROXY zimewekwa kwenye mazingira, requests inaweza kuzichanganya na mipangilio ya session; pitisha proxies= kwenye wito wenyewe unapohitaji kuwa na uhakika ni ipi inayotumika.

Hitilafu na jinsi ya kuzisoma

  • ProxyError yenye 407 Proxy Authentication Required: proxy inafikiwa lakini maelezo ya kuingia katika URL yako hayalingani na agizo. Tazama ukurasa wa hitilafu ya 407
  • Manenosiri yenye @, : au / huharibu URL; yasimbe kwanza kwa urllib.parse.quote(password, safe='')
  • Kubadilisha URL ya proxy kuwa https:// kwa kawaida huvunja muunganisho; weka http:// kwa funguo zote mbili isipokuwa kama lango lako la proxy ni lango maalum la TLS
  • ConnectTimeout huashiria IP au lango, si stakabadhi; jaribu ufikiaji kwa kutumia kikagua lango

Mfumo sawa katika httpx na aiohttp

Muundo wa URL unabaki vile vile. Katika httpx, tengeneza httpx.Client(proxy='http://user:pass@ip:port'); katika aiohttp, pitisha proxy= kwa session.get(url, proxy=...). Uchimbaji mkubwa wa data wenye ratiba na majaribio tena kwa kawaida huwa rahisi zaidi katika Scrapy.

Hatua kwa hatua

  1. 1

    Unda URL ya proxy

    Andika upya kila mstari wa ip:port:user:pass wa ProxyV4 kama http://user:pass@ip:port, au badilisha orodha nzima kwa kutumia kigeuzi cha muundo wa proxy.

  2. 2

    Tengeneza kamusi

    Andika proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Iambatishe kwenye Session

    Tengeneza s = requests.Session() na uite s.proxies.update(proxies) ili miunganisho ibaki hai kati ya maombi.

  4. 4

    Chapisha IP ya kutokea

    Tekeleza print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP katika matokeo inapaswa kuwa ya proxy.

Maswali yanayoulizwa mara kwa mara

Kwa nini ingizo la 'https' ni URL ya http://?

Mpangilio huo unaeleza jinsi Python inavyowasiliana na proxy, si tovuti. urllib3 huunganishwa kwenye proxy kupitia HTTP ya kawaida, hutuma CONNECT, kisha hufanya TLS na tovuti ya https:// kupitia handaki hiyo, hivyo trafiki ya ukurasa bado inasimbwa.

Je, ninagawaje maombi kwenye proxy 25 tuli?

Weka URL hizo 25 kwenye orodha, tengeneza pool = itertools.cycle(PROXIES), na kwa kila ombi chukua p = next(pool) kisha upitishe proxies={'http': p, 'https': p}. Weka ucheleweshaji unaofaa kwa kila IP ili anwani yoyote isilemewe.

Je, trafiki kutoka kwa hati za Python inapimwa kiwango?

Hapana. Vifurushi vya ProxyV4 vya IPv4 binafsi na ISP tuli vinakuja na kipimo data kisicho na kikomo, kwa hivyo hati zinazoendeshwa kwa muda mrefu hazikutani na kikomo cha data.

Vyanzo

Bwawa la IP tuli kwa hati za Python

IPv4 binafsi katika nchi 7 pamoja na ISP tuli nchini Marekani na Vietnam. Nunua IP moja au kundi; bei kwa kila IP hupungua kulingana na idadi.

Angalia bei za moja kwa moja za Marekani

Related articles

Proksi kwa jukwaa
Proksi za web scraping: kundi thabiti la IP zenye data isiyo na kipimo
Proksi za web scraping za Python, Scrapy, Playwright na Selenium: kundi la anwani binafsi za IPv4 na ISP tulivu, data isiyo na kikomo, bei maalum kwa kila IP.
Usanidi wa proksi
Uthibitishaji wa proxy ya Playwright, IP moja tuli kwa kila muktadha
Patia kila muktadha wa Playwright proksi ya HTTP(S) yenye idhini katika Node.js au Python, linganisha eneo la saa na lugha na IP, na uhakiki anwani ya kutoka.
Usanidi wa proksi
Proksi za Scrapy: meta['proxy'], mpangilio wa middleware na mzunguko
Tumia proksi za HTTP(S) zilizothibitishwa katika Scrapy: weka request.meta['proxy'], panga kabla ya HttpProxyMiddleware (750), zungusha IP na dhibiti kasi.
Zana za bure
Badilisha orodha ya proksi iwe katika muundo unaotarajiwa na zana yako
Geuza orodha za proksi kivinjarini kati ya ip:port:user:pass, user:pass@ip:port, URL za http://, URI za SOCKS5, safu za JSON na faili za FoxyProxy kwa wingi.
Proksi kwa jukwaa
Proksi za kufuatilia nafasi za SEO: tazama ukurasa wa matokeo anaoona mtafutaji wa ndani
Proksi za kufuatilia nafasi za SEO zenye IPv4 binafsi US, UK, Vietnam, Japan na masoko mengine 4, ili nafasi na matangazo vilingane na ya wenyeji.
Proksi kwa jukwaa
Proksi za wauzaji wa Amazon zinazopa kila akaunti anwani ya kudumu
Proksi za wauzaji wa Amazon kwa Seller Central, KDP na Merch: ISP tuli ya US au IPv4 binafsi ya UK/Japan kwa akaunti, yako pekee na hubaki unapoihuisha.
IPV4 · united states
Mkusanyiko wa Proxy Binafsi za IPv4 za Marekani kwa Scraping, Ufuatiliaji wa Nafasi na Ukaguzi wa Matangazo
Nunua proxy binafsi za IPv4 za Marekani: IP tuli za datacenter, mteja mmoja kwa IP, bandwidth bila kikomo. Zinafaa kwa scraping, SERP na ukaguzi wa matangazo.
IPV4 · vietnam
Proxy Binafsi ya IPv4 ya Vietnam: IP Moja Isiyobadilika kwa Kila Akaunti kwa Wingi
Proxy binafsi za IPv4 za Vietnam: IP thabiti za kituo cha data, mteja mmoja kila moja, bei ya jumla. Kwa akaunti za kukuza, maduka madogo na zana.