Python requests ავთენტიფიცირებული პროქსით, ეტაპობრივად
ProxyV4-ის საინჟინრო გუნდისგან · Updated:
Python requests-ში პროქსის გამოსაყენებლად გადაეცით proxies dict, რომლის 'http' და 'https' გასაღებებიც მიუთითებს http://user:pass@ip:port-ზე. გადაეცით ეს dict ობიექტს requests.Session() და პროქსისთან ერთი და იგივე კავშირი ხელახლა იქნება გამოყენებული ყოველი გამოძახებისთვის, რაც უფრო სწრაფია, ვიდრე თითო მოთხოვნაზე ახლის გახსნა. ქვემოთ განხილულია: dict, სესია, მოსალოდნელი შეცდომები და ProxyV4-ის გამავალი IP-ის ერთხაზიანი შემოწმება.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
proxies dict-ის ახსნა
| პარამეტრი | მნიშვნელობა | მიზეზი |
|---|---|---|
'http' გასაღები | 'http://user:pass@ip:port' | გამოიყენება ჩვეულებრივი http:// URL-ებისთვის |
'https' გასაღები | 'http://user:pass@ip:port' | მაინც http:// პროქსი URL-ია: urllib3 პროქსის სთხოვს CONNECT გვირაბს და მის შიგნით უშვებს TLS-ს |
timeout | timeout=(5, 15) | 5 წმ დასაკავშირებლად, 15 წმ წასაკითხად, რათა მიუწვდომელმა სამიზნემ ნაკადი არ გაყინოს |
| როტაცია | itertools.cycle(proxy_list) | რიგრიგობით გასცემს თქვენს სტატიკურ IP-ებს |
რატომ ჯობია Session პირდაპირ requests.get()-ს
თითოეული ზედა დონის requests.get() გამოძახება ქმნის კავშირების ახალ პულს, ამიტომ პროქსისთან TCP კავშირი და საიტთან TLS handshake ყოველ ჯერზე მეორდება. Session ინარჩუნებს ამ კავშირებს გამოძახებებს შორის. სკრიპტისთვის, რომელიც ასობით გვერდს ერთი IP-ით ტვირთავს, ეს სხვაობა შესამჩნევია მუშაობის საერთო დროში.
გაუწერეთ s.proxies.update(proxies) ერთხელ და ყოველი s.get() და s.post() გაივლის პროქსიზე. ერთი რამ უნდა იცოდეთ: თუ გარემოში განსაზღვრულია HTTP_PROXY ან HTTPS_PROXY, requests-მა შეიძლება ისინი სესიის პარამეტრებთან გააერთიანოს; გადაეცით proxies= უშუალოდ გამოძახებისას, როცა დარწმუნებული უნდა იყოთ, რომელი გამოიყენება.
შეცდომები და მათი წაკითხვის წესი
ProxyErrorკოდით407 Proxy Authentication Required: პროქსი ხელმისაწვდომია, მაგრამ თქვენს URL-ში მითითებული ლოგინი არ ემთხვევა შეკვეთას. იხილეთ 407 შეცდომის გვერდი- პაროლები, რომლებიც შეიცავს
@,:ან/სიმბოლოებს, არღვევს URL-ს; წინასწარ დააკოდირეთ ისინიurllib.parse.quote(password, safe='')-ით - პროქსის URL-ის
https://-ზე გადართვა ჩვეულებრივ წყვეტს კავშირს; შეინარჩუნეთhttp://ორივე გასაღებისთვის, თუ თქვენი პროქსი პორტი კონკრეტულად TLS პორტი არ არის ConnectTimeoutმიუთითებს IP-ზე ან პორტზე და არა ავტორიზაციის მონაცემებზე; შეამოწმეთ ხელმისაწვდომობა პორტის შემმოწმებლით
იგივე პრინციპი httpx-სა და aiohttp-ში
URL-ის ფორმატი უცვლელია. httpx-ში შექმენით httpx.Client(proxy='http://user:pass@ip:port'); aiohttp-ში გადაეცით proxy= პარამეტრი session.get(url, proxy=...)-ს. უფრო დიდი მოცულობის ქროულინგი განრიგითა და გამეორებებით, როგორც წესი, უფრო მარტივია Scrapy-ში.
ეტაპობრივი ინსტრუქცია
- 1
პროქსის URL-ის აწყობა
გადაწერეთ ProxyV4-ის თითოეული
ip:port:user:passხაზი, როგორცhttp://user:pass@ip:port, ან გადაიყვანეთ მთელი სია პროქსის ფორმატის კონვერტერით. - 2
ლექსიკონის შექმნა
ჩაწერეთ
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
მისი მიბმა Session-ზე
შექმენით
s = requests.Session()და გამოიძახეთs.proxies.update(proxies), რათა მოთხოვნებს შორის კავშირები აქტიური დარჩეს. - 4
გამავალი IP-ის დაბეჭდვა
გაუშვით
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); გამოტანილი IP პროქსის მისამართი უნდა იყოს.
ხშირად დასმული კითხვები
რატომ არის 'https' ჩანაწერი http:// URL?
სქემა აღწერს, როგორ უკავშირდება Python პროქსის და არა ვებსაიტს. urllib3 უკავშირდება პროქსის ჩვეულებრივი HTTP-ით, აგზავნის CONNECT-ს და შემდეგ ამ გვირაბის გავლით ასრულებს TLS-ს https:// საიტთან, ასე რომ გვერდის ტრაფიკი კვლავ დაშიფრულია.
როგორ გადავანაწილო მოთხოვნები 25 სტატიკურ პროქსიზე?
მოათავსეთ 25 URL სიაში, შექმენით pool = itertools.cycle(PROXIES), და ყოველი მოთხოვნისთვის აიღეთ p = next(pool) და გადაეცით proxies={'http': p, 'https': p}. დაიცავით გონივრული დაყოვნება თითოეულ IP-ზე, რათა არცერთი მისამართი ზედმეტად არ გადაიტვირთოს.
იზომება თუ არა ტრაფიკი Python სკრიპტებიდან?
არა. ProxyV4-ის პრივატული IPv4 და სტატიკური ISP ტარიფები მოიცავს შეუზღუდავ გამტარუნარიანობას, ასე რომ ხანგრძლივად მომუშავე სკრიპტები ლიმიტს არ გადააჭარბებს.
წყაროები
სტატიკური IP პული Python სკრიპტებისთვის
პრივატული IPv4 7 ქვეყანაში და სტატიკური ISP აშშ-სა და ვიეტნამში. შეიძინეთ ერთი IP ან პაკეტი; ერთეულის ფასი მცირდება რაოდენობასთან ერთად.
შეამოწმეთ აშშ-ის მიმდინარე ფასები