Python requests ຜ່ານພຣັອກຊີທີ່ມີການຢືນຢັນຕົວຕົນ ແບບເທື່ອລະຂັ້ນຕອນ
ໂດຍ ທີມງານວິສະວະກຳ ProxyV4 · Updated:
ເພື່ອໃຊ້ພຣັອກຊີໃນ Python requests, ໃຫ້ສົ່ງດິກ proxies ທີ່ຄີ 'http' ແລະ 'https' ຊີ້ໄປຫາ http://user:pass@ip:port ທັງສອງຄີ. ໃສ່ດິກນັ້ນລົງໃນ requests.Session() ແລ້ວການເຊື່ອມຕໍ່ດຽວກັນກັບພຣັອກຊີຈະຖືກນຳມາໃຊ້ຄືນສຳລັບທຸກໆການຮຽກຮ້ອງ ເຊິ່ງໄວກວ່າການເປີດການເຊື່ອມຕໍ່ໃໝ່ໃນແຕ່ລະຄຳຮ້ອງຂໍ. ດ້ານລຸ່ມນີ້: ດິກ, session, ຂໍ້ຜິດພາດທີ່ທ່ານອາດພົບ ແລະ ວິທີກວດສອບ IP ຂາອອກຂອງ ProxyV4 ດ້ວຍໂຄ້ດແຖວດຽວ.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
ອະທິບາຍກ່ຽວກັບດິກ proxies
| ການຕັ້ງຄ່າ | ຄ່າ | ເຫດຜົນ |
|---|---|---|
ຄີ 'http' | 'http://user:pass@ip:port' | ໃຊ້ສຳລັບ URL ທີ່ເປັນ http:// ທົ່ວໄປ |
ຄີ 'https' | 'http://user:pass@ip:port' | ຍັງຄົງເປັນ URL ພຣັອກຊີ http://: urllib3 ຈະຂໍທໍ່ CONNECT ຈາກພຣັອກຊີ ແລະ ເຮັດວຽກ TLS ພາຍໃນທໍ່ນັ້ນ |
timeout | timeout=(5, 15) | 5 ວິເພື່ອເຊື່ອມຕໍ່, 15 ວິເພື່ອອ່ານ, ເພື່ອບໍ່ໃຫ້ປາຍທາງທີ່ໃຊ້ການບໍ່ໄດ້ເຮັດໃຫ້ thread ຄ້າງ |
| ການໝູນວຽນ | itertools.cycle(proxy_list) | ແຈກຢາຍ IP ແບບ static ຂອງທ່ານຕາມລຳດັບ |
ເປັນຫຍັງ Session ຈຶ່ງດີກວ່າ requests.get() ແບບດ່ຽວໆ
ການຮຽກໃຊ້ requests.get() ລະດັບສູງສຸດແຕ່ລະຄັ້ງຈະສ້າງ connection pool ໃໝ່, ດັ່ງນັ້ນການເຊື່ອມຕໍ່ TCP ກັບພຣັອກຊີ ແລະ ການ handshake ແບບ TLS ກັບເວັບໄຊຈະຖືກເຮັດຊ້ຳທຸກຄັ້ງ. Session ຈະຮັກສາການເຊື່ອມຕໍ່ເຫຼົ່ານັ້ນໃຫ້ເປີດຢູ່ລະຫວ່າງການຮຽກຮ້ອງ. ສຳລັບສະຄຣິບທີ່ດຶງຂໍ້ມູນຫຼາຍຮ້ອຍໜ້າຜ່ານ IP ດຽວ, ຄວາມແຕກຕ່າງນັ້ນຈະເຫັນໄດ້ຢ່າງຊັດເຈນໃນເວລາປະມວນຜົນທັງໝົດ.
ຕັ້ງຄ່າ s.proxies.update(proxies) ພຽງຄັ້ງດຽວ ແລະ ທຸກໆ s.get() ລວມທັງ s.post() ຈະແລ່ນຜ່ານພຣັອກຊີ. ສິ່ງໜຶ່ງທີ່ຄວນຮູ້: ຖ້າຕັ້ງຄ່າ HTTP_PROXY ຫຼື HTTPS_PROXY ໄວ້ໃນສະພາບແວດລ້ອມ (environment), requests ອາດຈະຮວມພວກມັນເຂົ້າກັບການຕັ້ງຄ່າຂອງ session; ໃຫ້ສົ່ງ proxies= ໃນການຮຽກໃຊ້ຕົວຈິງເມື່ອທ່ານຕ້ອງການໃຫ້ແນ່ໃຈວ່າໃຊ້ອັນໃດ.
ຂໍ້ຜິດພາດ ແລະ ວິທີອ່ານ
ProxyErrorພ້ອມກັບ407 Proxy Authentication Required: ສາມາດເຊື່ອມຕໍ່ພຣັອກຊີໄດ້ ແຕ່ຂໍ້ມູນເຂົ້າສູ່ລະບົບໃນ URL ຂອງທ່ານບໍ່ກົງກັບຄຳສັ່ງຊື້. ເບິ່ງ ໜ້າຂໍ້ຜິດພາດ 407- ລະຫັດຜ່ານທີ່ມີເຄື່ອງໝາຍ
@,:ຫຼື/ຈະເຮັດໃຫ້ URL ເສຍຫາຍ; ໃຫ້ເຂົ້າລະຫັດພວກມັນກ່ອນດ້ວຍurllib.parse.quote(password, safe='') - ການປ່ຽນ URL ພຣັອກຊີເປັນ
https://ມັກຈະເຮັດໃຫ້ການເຊື່ອມຕໍ່ຂາດຫາຍ; ໃຫ້ໃຊ້http://ສຳລັບທັງສອງຄີ ຍົກເວັ້ນພອດພຣັອກຊີຂອງທ່ານຈະເປັນພອດ TLS ໂດຍສະເພາະ ConnectTimeoutບົ່ງບອກເຖິງບັນຫາທີ່ IP ຫຼື ພອດ, ບໍ່ແມ່ນຂໍ້ມູນປະຈຳຕົວ; ທົດສອບການເຂົ້າເຖິງດ້ວຍ ເຄື່ອງມືກວດສອບພອດ
ຮູບແບບດຽວກັນໃນ httpx ແລະ aiohttp
ຮູບແບບ URL ແມ່ນຄືກັນ. ໃນ httpx, ໃຫ້ສ້າງ httpx.Client(proxy='http://user:pass@ip:port'); ໃນ aiohttp, ໃຫ້ສົ່ງ proxy= ໄປທີ່ session.get(url, proxy=...). ການດຶງຂໍ້ມູນຂະໜາດໃຫຍ່ທີ່ມີການກຳນົດເວລາ ແລະ ລອງໃໝ່ ແມ່ນມັກຈະງ່າຍກວ່າໃນ Scrapy.
ຂັ້ນຕອນແຕ່ລະບາດກ້າວ
- 1
ສ້າງ URL ພຣັອກຊີ
ປ່ຽນແຕ່ລະແຖວ
ip:port:user:passຂອງ ProxyV4 ໃຫ້ເປັນhttp://user:pass@ip:port, ຫຼື ປ່ຽນທັງໝົດລາຍການດ້ວຍ ເຄື່ອງມືແປງຮູບແບບພຣັອກຊີ. - 2
ສ້າງດິກ
ຂຽນ
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
ຕິດໃສ່ Session
ສ້າງ
s = requests.Session()ແລະ ຮຽກໃຊ້s.proxies.update(proxies)ເພື່ອຮັກສາການເຊື່ອມຕໍ່ໃຫ້ເປີດຢູ່ລະຫວ່າງແຕ່ລະຄຳຮ້ອງຂໍ. - 4
ສະແດງ IP ຂາອອກ
ແລ່ນ
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP ທີ່ສະແດງອອກມາຄວນເປັນຂອງພຣັອກຊີ.
ຄຳຖາມທີ່ຖາມເລື້ອຍໆ
ເປັນຫຍັງລາຍການ 'https' ຈຶ່ງເປັນ URL ແບບ http://?
Scheme ອະທິບາຍເຖິງວິທີທີ່ Python ສື່ສານກັບພຣັອກຊີ, ບໍ່ແມ່ນກັບເວັບໄຊ. urllib3 ຈະເຊື່ອມຕໍ່ກັບພຣັອກຊີຜ່ານ HTTP ທຳມະດາ, ສົ່ງ CONNECT, ແລ້ວຈຶ່ງເຮັດວຽກ TLS ກັບເວັບໄຊ https:// ຜ່ານທໍ່ນັ້ນ, ດັ່ງນັ້ນຂໍ້ມູນການເຂົ້າຊົມໜ້າເວັບຈຶ່ງຍັງຖືກເຂົ້າລະຫັດຢູ່.
ຂ້ອຍຈະກະຈາຍຄຳຮ້ອງຂໍໄປຍັງ 25 ພຣັອກຊີແບບ static ໄດ້ແນວໃດ?
ໃສ່ 25 URL ລົງໃນລາຍການ, ສ້າງ pool = itertools.cycle(PROXIES), ແລະ ສຳລັບແຕ່ລະຄຳຮ້ອງຂໍໃຫ້ດຶງ p = next(pool) ແລ້ວສົ່ງ proxies={'http': p, 'https': p}. ຄວນມີການໜ່ວງເວລາທີ່ເໝາະສົມຕໍ່ແຕ່ລະ IP ເພື່ອບໍ່ໃຫ້ທີ່ຢູ່ໃດໜຶ່ງຖືກຮຽກຮ້ອງຫຼາຍເກີນໄປ.
ປະລິມານຂໍ້ມູນຈາກສະຄຣິບ Python ຖືກຈຳກັດຫຼືບໍ່?
ບໍ່. ແພັກເກດ IPv4 ສ່ວນຕົວ ແລະ static ISP ຂອງ ProxyV4 ມາພ້ອມກັບແບນວິດບໍ່ຈຳກັດ, ສະນັ້ນສະຄຣິບທີ່ເຮັດວຽກຕໍ່ເນື່ອງຍາວນານຈະບໍ່ຕິດຂີດຈຳກັດຂໍ້ມູນ.
ແຫຼ່ງຂໍ້ມູນ
ພູລ IP ແບບ static ສຳລັບສະຄຣິບ Python
IPv4 ສ່ວນຕົວໃນ 7 ປະເທດ ພ້ອມທັງ static ISP ໃນ US ແລະ Vietnam. ຊື້ IP ດ່ຽວ ຫຼື ຊື້ເປັນຊຸດ; ລາຄາຕໍ່ IP ຈະຫຼຸດລົງຕາມຈຳນວນ.
ກວດສອບລາຄາປັດຈຸບັນໃນ US