Request Python melalui proxy berautentikasi, langkah demi langkah
Oleh Tim Engineering ProxyV4 · Updated:
Untuk menggunakan proxy di Python requests, teruskan dict proxies dengan kunci 'http' dan 'https' yang sama-sama mengarah ke http://user:pass@ip:port. Pasang dict tersebut pada requests.Session() agar koneksi yang sama ke proxy digunakan kembali untuk setiap panggilan, yang lebih cepat daripada membuka koneksi baru di setiap request. Di bawah ini: penjelasan dict, session, error yang mungkin Anda temui, serta cara satu baris untuk memeriksa IP keluar ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
Penjelasan dict proxies
| Pengaturan | Nilai | Alasan |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | Digunakan untuk URL http:// biasa |
'https' key | 'http://user:pass@ip:port' | Tetap berupa URL proxy http://: urllib3 meminta tunnel CONNECT ke proxy dan menjalankan TLS di dalamnya |
timeout | timeout=(5, 15) | 5 dtk untuk terhubung, 15 dtk untuk membaca, agar target yang mati tidak membekukan thread |
| Rotasi | itertools.cycle(proxy_list) | Membagikan IP statis Anda secara bergiliran |
Mengapa Session lebih unggul dibanding requests.get() biasa
Setiap pemanggilan requests.get() level atas membuat connection pool baru, sehingga koneksi TCP ke proxy dan TLS handshake dengan situs target diulang setiap saat. Session menjaga koneksi tersebut tetap aktif antar panggilan. Untuk skrip yang mengambil ratusan halaman melalui satu IP, perbedaan ini terlihat jelas pada total waktu eksekusi.
Cukup atur s.proxies.update(proxies) sekali, dan setiap s.get() serta s.post() akan melewati proxy. Satu hal yang perlu diketahui: jika HTTP_PROXY atau HTTPS_PROXY disetel di environment, requests mungkin menggabungkannya dengan pengaturan session; teruskan proxies= pada pemanggilan itu sendiri jika Anda ingin memastikan proxy mana yang digunakan.
Error dan cara memahaminya
ProxyErrordengan407 Proxy Authentication Required: proxy dapat dijangkau tetapi informasi login pada URL Anda tidak cocok dengan pesanan. Lihat halaman error 407- Password yang mengandung karakter
@,:, atau/akan merusak format URL; lakukan encode terlebih dahulu denganurllib.parse.quote(password, safe='') - Mengubah URL proxy menjadi
https://biasanya memutus koneksi; tetap gunakanhttp://untuk kedua kunci kecuali port proxy Anda memang khusus port TLS ConnectTimeoutmengindikasikan masalah pada IP atau port, bukan kredensial; uji keterjangkauan dengan pemeriksa port
Pola serupa di httpx dan aiohttp
Format URL tetap sama. Di httpx, buat httpx.Client(proxy='http://user:pass@ip:port'); di aiohttp, teruskan proxy= ke session.get(url, proxy=...). Crawling skala lebih besar dengan penjadwalan dan retry biasanya lebih mudah menggunakan Scrapy.
Langkah demi langkah
- 1
Susun URL proxy
Ubah setiap baris
ip:port:user:passdari ProxyV4 menjadihttp://user:pass@ip:port, atau konversikan seluruh daftar dengan konverter format proxy. - 2
Buat dict
Tulis
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Pasang ke Session
Buat
s = requests.Session()dan panggils.proxies.update(proxies)agar koneksi tetap aktif antar request. - 4
Cetak IP keluar
Jalankan
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP pada output harus berupa IP proxy tersebut.
Pertanyaan yang sering diajukan
Mengapa entri 'https' berupa URL http://?
Skema ini menjelaskan cara Python berkomunikasi dengan proxy, bukan dengan situs web. urllib3 terhubung ke proxy melalui HTTP biasa, mengirim CONNECT, lalu menjalankan TLS dengan situs https:// melalui tunnel tersebut, sehingga traffic halaman web tetap terenkripsi.
Bagaimana cara mendistribusikan request ke 25 proxy statis?
Masukkan 25 URL tersebut ke dalam daftar, buat pool = itertools.cycle(PROXIES), dan untuk setiap request ambil p = next(pool) lalu teruskan proxies={'http': p, 'https': p}. Berikan jeda waktu yang wajar per IP agar tidak ada satu alamat pun yang dibanjiri request.
Apakah traffic dari skrip Python dibatasi kuota?
Tidak. Paket IPv4 privat dan ISP statis dari ProxyV4 dilengkapi dengan bandwidth tanpa batas, sehingga skrip yang berjalan lama tidak akan terbentur batasan kuota.
Sumber
Pool IP statis untuk skrip Python
IPv4 privat di 7 negara ditambah ISP statis di AS dan Vietnam. Beli satu IP atau dalam jumlah banyak; harga per IP makin murah seiring bertambahnya kuantitas.
Cek harga langsung AS