Maombi ya Python requests kupitia proxy iliyothibitishwa, hatua kwa hatua
Na Timu ya Uhandisi ya ProxyV4 · Updated:
Ili kutumia proxy katika Python requests, pitisha kamusi ya proxies ambayo funguo zake za 'http' na 'https' zote zinaelekeza kwenye http://user:pass@ip:port. Weka kamusi hiyo kwenye requests.Session() na muunganisho ule ule kwa proxy utatumiwa tena kwa kila ombi, jambo ambalo ni la haraka zaidi kuliko kufungua mpya kwa kila ombi. Hapa chini: kamusi, session, hitilafu unazoweza kukutana nazo, na ukaguzi wa mstari mmoja wa IP ya kutokea ya ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- IP 1US$ 1.85
- IP 3+US$ 1.70
- IP 10+US$ 1.60
- IP 25+US$ 1.50
- IP 50+US$ 1.40
- IP 100+US$ 1.30
- IP 200+US$ 1.20
- IP 500+US$ 1.10
- IP 1US$ 1.85
- IP 3+US$ 1.70
- IP 10+US$ 1.60
- IP 25+US$ 1.50
- IP 50+US$ 1.40
- IP 100+US$ 1.30
- IP 200+US$ 1.20
- IP 500+US$ 1.10
Ufafanuzi wa kamusi ya proxies
| Mipangilio | Thamani | Sababu |
|---|---|---|
Ufunguo wa 'http' | 'http://user:pass@ip:port' | Hutumika kwa URL za kawaida za http:// |
Ufunguo wa 'https' | 'http://user:pass@ip:port' | Bado ni URL ya proxy ya http://: urllib3 huomba proxy handaki ya CONNECT na kuendesha TLS ndani yake |
timeout | timeout=(5, 15) | Sekunde 5 za kuunganisha, sekunde 15 za kusoma, ili lengo lisilopatikana lisigandishe thread |
| Mzunguko | itertools.cycle(proxy_list) | Hutoa IP zako tuli kwa zamu |
Kwa nini Session ni bora kuliko requests.get() ya kawaida
Kila wito wa kiwango cha juu wa requests.get() huunda bwawa jipya la miunganisho, kwa hivyo muunganisho wa TCP kwenye proxy na kupeana mikono kwa TLS na tovuti hurudiwa kila mara. Session huweka miunganisho hiyo hai kati ya miito. Kwa hati inayochukua mamia ya kurasa kupitia IP moja, tofauti hiyo inaonekana wazi katika muda wote wa utekelezaji.
Weka s.proxies.update(proxies) mara moja na kila s.get() na s.post() itapita kwenye proxy. Jambo moja la kufahamu: ikiwa HTTP_PROXY au HTTPS_PROXY zimewekwa kwenye mazingira, requests inaweza kuzichanganya na mipangilio ya session; pitisha proxies= kwenye wito wenyewe unapohitaji kuwa na uhakika ni ipi inayotumika.
Hitilafu na jinsi ya kuzisoma
ProxyErroryenye407 Proxy Authentication Required: proxy inafikiwa lakini maelezo ya kuingia katika URL yako hayalingani na agizo. Tazama ukurasa wa hitilafu ya 407- Manenosiri yenye
@,:au/huharibu URL; yasimbe kwanza kwaurllib.parse.quote(password, safe='') - Kubadilisha URL ya proxy kuwa
https://kwa kawaida huvunja muunganisho; wekahttp://kwa funguo zote mbili isipokuwa kama lango lako la proxy ni lango maalum la TLS ConnectTimeouthuashiria IP au lango, si stakabadhi; jaribu ufikiaji kwa kutumia kikagua lango
Mfumo sawa katika httpx na aiohttp
Muundo wa URL unabaki vile vile. Katika httpx, tengeneza httpx.Client(proxy='http://user:pass@ip:port'); katika aiohttp, pitisha proxy= kwa session.get(url, proxy=...). Uchimbaji mkubwa wa data wenye ratiba na majaribio tena kwa kawaida huwa rahisi zaidi katika Scrapy.
Hatua kwa hatua
- 1
Unda URL ya proxy
Andika upya kila mstari wa
ip:port:user:passwa ProxyV4 kamahttp://user:pass@ip:port, au badilisha orodha nzima kwa kutumia kigeuzi cha muundo wa proxy. - 2
Tengeneza kamusi
Andika
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Iambatishe kwenye Session
Tengeneza
s = requests.Session()na uites.proxies.update(proxies)ili miunganisho ibaki hai kati ya maombi. - 4
Chapisha IP ya kutokea
Tekeleza
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP katika matokeo inapaswa kuwa ya proxy.
Maswali yanayoulizwa mara kwa mara
Kwa nini ingizo la 'https' ni URL ya http://?
Mpangilio huo unaeleza jinsi Python inavyowasiliana na proxy, si tovuti. urllib3 huunganishwa kwenye proxy kupitia HTTP ya kawaida, hutuma CONNECT, kisha hufanya TLS na tovuti ya https:// kupitia handaki hiyo, hivyo trafiki ya ukurasa bado inasimbwa.
Je, ninagawaje maombi kwenye proxy 25 tuli?
Weka URL hizo 25 kwenye orodha, tengeneza pool = itertools.cycle(PROXIES), na kwa kila ombi chukua p = next(pool) kisha upitishe proxies={'http': p, 'https': p}. Weka ucheleweshaji unaofaa kwa kila IP ili anwani yoyote isilemewe.
Je, trafiki kutoka kwa hati za Python inapimwa kiwango?
Hapana. Vifurushi vya ProxyV4 vya IPv4 binafsi na ISP tuli vinakuja na kipimo data kisicho na kikomo, kwa hivyo hati zinazoendeshwa kwa muda mrefu hazikutani na kikomo cha data.
Vyanzo
Bwawa la IP tuli kwa hati za Python
IPv4 binafsi katika nchi 7 pamoja na ISP tuli nchini Marekani na Vietnam. Nunua IP moja au kundi; bei kwa kila IP hupungua kulingana na idadi.
Angalia bei za moja kwa moja za Marekani