Àwọn ìbéèrè requests Python gba proxy tó ní ìfọwọ́sí, nígbésẹ̀-nígbésẹ̀
Láti ọwọ́ Ẹgbẹ́ Onímọ̀-ẹ̀rọ ProxyV4 · Updated:
Láti lo proxy nínú requests ti Python, fi dict proxies kan ránṣẹ́ tí àwọn kókó 'http' àti 'https' rẹ̀ méjèèjì tọ́ka sí http://user:pass@ip:port. Fi dict yẹn sórí requests.Session() kan, ìsopọ̀ kan náà sí proxy náà yóò sì tún jẹ́ lílò fún ìpè kọ̀ọ̀kan, èyí tí ó yára ju ṣíṣí tuntun lọ fún ìbéèrè kọ̀ọ̀kan. Ní ìsàlẹ̀: dict náà, session náà, àwọn àṣìṣe tí o lè bá pàdé, àti àyẹ̀wò ìlà-kan fún IP àbájáde ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- IP 1$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
- IP 1$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
Àlàyé lórí dict proxies náà
| Ètò | Iye | Ìdí |
|---|---|---|
Kókó 'http' | 'http://user:pass@ip:port' | A ń lò ó fún àwọn URL http:// lásán |
Kókó 'https' | 'http://user:pass@ip:port' | Ó ṣì jẹ́ URL proxy http://: urllib3 ń béèrè ọ̀nà abẹ́lẹ̀ CONNECT lọ́wọ́ proxy ó sì ń lo TLS nínú rẹ̀ |
timeout | timeout=(5, 15) | Ìṣẹ́jú-àáyá 5 láti sopọ̀, ìṣẹ́jú-àáyá 15 láti kà, kí àfojúsùn tí kò ṣiṣẹ́ má bàa dá iṣẹ́ dúró |
| Yíyípo | itertools.cycle(proxy_list) | Ń pín àwọn IP adúróṣinṣin rẹ ní tẹ̀lém̀ntẹ̀lé |
Ìdí tí Session fi dára ju requests.get() lásán lọ
Ìpè requests.get() kọ̀ọ̀kan ti ipele gíga máa ń kọ́ àkójọ ìsopọ̀ tuntun, nítorí náà ìsopọ̀ TCP sí proxy àti ìfọwọ́bọ̀wọ́ TLS pẹ̀lú ojú-òpó náà máa ń tún ara wọn ṣe ní gbogbo ìgbà. Session kan máa ń jẹ́ kí àwọn ìsopọ̀ yẹn wà láàyè láàárín àwọn ìpè. Fún àkọsílẹ̀ kóòdù tó ń gba ọgọ́rọ̀ọ̀rún ojú-ewé gba IP kan, ìyàtọ̀ yẹn máa ń hàn kedere nínú àpapọ̀ àkókò iṣẹ́.
Ṣètò s.proxies.update(proxies) lẹ́ẹ̀kan ṣoṣo, gbogbo s.get() àti s.post() yóò sì gba inú proxy náà kọjá. Ohun kan láti mọ̀: bí a bá ṣètò HTTP_PROXY tàbí HTTPS_PROXY nínú àyíká, requests lè da wọ́n pọ̀ mọ́ àwọn ètò session náà; fi proxies= ránṣẹ́ lórí ìpè náà fúnra rẹ̀ nígbà tí o bá fẹ́ rí i dájú èyí tí a ń lò.
Àwọn àṣìṣe àti bí a ṣe ń kà wọ́n
ProxyErrorpẹ̀lú407 Proxy Authentication Required: a lè dé ọ̀dọ̀ proxy náà ṣùgbọ́n àwọn àlàyé ìwọlé inú URL rẹ kò bá àṣẹ náà mu. Wo ojú-ewé àṣìṣe 407- Àwọn ọ̀rọ̀ìpamọ́ tí ó ní
@,:tàbí/máa ń ba URL jẹ́; kọ́kọ́ fi àmì kóòdù sí wọn pẹ̀lúurllib.parse.quote(password, safe='') - Yíyí URL proxy náà padà sí
https://máa ń ba ìsopọ̀ jẹ́ ní ọ̀pọ̀ ìgbà; pahttp://mọ́ fún àwọn kókó méjèèjì àyàfi bí port proxy rẹ bá jẹ́ port TLS pàtó ConnectTimeoutń tọ́ka sí IP tàbí port, kì í ṣe àwọn ẹ̀rí ìwọlé; dán ìrìnnà wò pẹ̀lú àyẹ̀wò port
Àpẹẹrẹ kan náà nínú httpx àti aiohttp
Ìgbékalẹ̀ URL náà jẹ́ bákan náà. Nínú httpx, ṣẹ̀dá httpx.Client(proxy='http://user:pass@ip:port'); nínú aiohttp, fi proxy= ránṣẹ́ sí session.get(url, proxy=...). Àwọn ìwákiri ńlá pẹ̀lú ìṣètò àkókò àti àtúngbìyànjú máa ń rọrùn jù nínú Scrapy.
Ìgbésẹ̀ ní ìgbésẹ̀
- 1
Kọ URL proxy náà
Tún ìlà
ip:port:user:passkọ̀ọ̀kan ti ProxyV4 kọ bíhttp://user:pass@ip:port, tàbí kí o yí gbogbo àtòjọ náà padà pẹ̀lú olùyí ìgbékalẹ̀ proxy padà. - 2
Ṣẹ̀dá dict náà
Kọ
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
So ó mọ́ Session kan
Ṣẹ̀dá
s = requests.Session()kí o sì pes.proxies.update(proxies)kí àwọn ìsopọ̀ lè wà láàyè láàárín àwọn ìbéèrè. - 4
Tẹ IP àbájáde jáde
Ṣiṣẹ́
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP tí ó wà nínú àbájáde yẹ kí ó jẹ́ ti proxy náà.
Àwọn ìbéèrè tí a ń béèrè lemọ́lemọ́
Èéṣe tí àkọsílẹ̀ 'https' fi jẹ́ URL http://?
Ètò náà ń ṣàpèjúwe bí Python ṣe ń bá proxy sọ̀rọ̀, kì í ṣe sí ojú-òpó wẹ́ẹ̀bù náà. urllib3 ń sopọ̀ mọ́ proxy lórí HTTP lásán, ó ń fi CONNECT ránṣẹ́, lẹ́yìn náà ó ń ṣe TLS pẹ̀lú ojú-òpó https:// gba ọ̀nà abẹ́lẹ̀ yẹn kọjá, nítorí náà gbogbo ìrìn-àjò ojú-ewé náà ṣì wà ní dídáàbòbò.
Báwo ni mo ṣe lè pín àwọn ìbéèrè káàkiri lórí àwọn proxy adúróṣinṣin 25?
Fi àwọn URL 25 náà sínú àtòjọ kan, ṣẹ̀dá pool = itertools.cycle(PROXIES), fún ìbéèrè kọ̀ọ̀kan sì mú p = next(pool) kí o sì fi proxies={'http': p, 'https': p} ránṣẹ́. Pa àkókò ìdúró tó bọ́gbọ́n mu mọ́ fún IP kọ̀ọ̀kan kí a má baà tẹ àdírẹ́sì kan ṣoṣo lulẹ̀ púpọ̀ jù.
Ṣé a ń wọn ìwọ̀n ìrìn-àjò dátà láti inú àwọn àkọsílẹ̀ kóòdù Python bí?
Rárá. Àwọn ètò IPv4 àdáni àti ISP adúróṣinṣin ti ProxyV4 wá pẹ̀lú iye dátà àìlópin, nítorí náà àwọn àkọsílẹ̀ kóòdù tó ń ṣiṣẹ́ fún àkókò pípẹ́ kì í kọlu ààlà dátà.
Àwọn orísun
Àkójọ IP adúróṣinṣin fún àwọn àkọsílẹ̀ kóòdù Python
IPv4 àdáni ní àwọn orílẹ̀-èdè 7 pẹ̀lú ISP adúróṣinṣin ní US àti Vietnam. Ra IP kan ṣoṣo tàbí àkójọ púpọ̀; iye owó fún IP kọ̀ọ̀kan ń dínkù bí iye rẹ̀ ṣe ń pọ̀ sí i.
Wo àwọn iye owó US lọ́wọ́lọ́wọ́