ProxyV4

Python requests ავთენტიფიცირებული პროქსით, ეტაპობრივად

· Updated:

Python requests-ში პროქსის გამოსაყენებლად გადაეცით proxies dict, რომლის 'http' და 'https' გასაღებებიც მიუთითებს http://user:pass@ip:port-ზე. გადაეცით ეს dict ობიექტს requests.Session() და პროქსისთან ერთი და იგივე კავშირი ხელახლა იქნება გამოყენებული ყოველი გამოძახებისთვის, რაც უფრო სწრაფია, ვიდრე თითო მოთხოვნაზე ახლის გახსნა. ქვემოთ განხილულია: dict, სესია, მოსალოდნელი შეცდომები და ProxyV4-ის გამავალი IP-ის ერთხაზიანი შემოწმება.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
პირადი IPv4 (დატაცენტრი)
🇺🇸 ამერიკის შეერთებული შტატები
მარაგშია
დან
1,10 US$ / IP / თვეში
ფასდაკლება რაოდენობაზე
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
შეიძინეთ ამერიკის შეერთებული შტატები
პირადი IPv4 (დატაცენტრი)
🇻🇳 ვიეტნამი
მარაგშია
დან
1,10 US$ / IP / თვეში
ფასდაკლება რაოდენობაზე
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
შეიძინეთ ვიეტნამი
პროქსი პლატფორმების მიხედვით:Web Scraping & CrawlingSEO & SERP TrackingAmazon

proxies dict-ის ახსნა

პარამეტრიმნიშვნელობამიზეზი
'http' გასაღები'http://user:pass@ip:port'გამოიყენება ჩვეულებრივი http:// URL-ებისთვის
'https' გასაღები'http://user:pass@ip:port'მაინც http:// პროქსი URL-ია: urllib3 პროქსის სთხოვს CONNECT გვირაბს და მის შიგნით უშვებს TLS-ს
timeouttimeout=(5, 15)5 წმ დასაკავშირებლად, 15 წმ წასაკითხად, რათა მიუწვდომელმა სამიზნემ ნაკადი არ გაყინოს
როტაციაitertools.cycle(proxy_list)რიგრიგობით გასცემს თქვენს სტატიკურ IP-ებს

რატომ ჯობია Session პირდაპირ requests.get()-ს

თითოეული ზედა დონის requests.get() გამოძახება ქმნის კავშირების ახალ პულს, ამიტომ პროქსისთან TCP კავშირი და საიტთან TLS handshake ყოველ ჯერზე მეორდება. Session ინარჩუნებს ამ კავშირებს გამოძახებებს შორის. სკრიპტისთვის, რომელიც ასობით გვერდს ერთი IP-ით ტვირთავს, ეს სხვაობა შესამჩნევია მუშაობის საერთო დროში.

გაუწერეთ s.proxies.update(proxies) ერთხელ და ყოველი s.get() და s.post() გაივლის პროქსიზე. ერთი რამ უნდა იცოდეთ: თუ გარემოში განსაზღვრულია HTTP_PROXY ან HTTPS_PROXY, requests-მა შეიძლება ისინი სესიის პარამეტრებთან გააერთიანოს; გადაეცით proxies= უშუალოდ გამოძახებისას, როცა დარწმუნებული უნდა იყოთ, რომელი გამოიყენება.

შეცდომები და მათი წაკითხვის წესი

  • ProxyError კოდით 407 Proxy Authentication Required: პროქსი ხელმისაწვდომია, მაგრამ თქვენს URL-ში მითითებული ლოგინი არ ემთხვევა შეკვეთას. იხილეთ 407 შეცდომის გვერდი
  • პაროლები, რომლებიც შეიცავს @, : ან / სიმბოლოებს, არღვევს URL-ს; წინასწარ დააკოდირეთ ისინი urllib.parse.quote(password, safe='')-ით
  • პროქსის URL-ის https://-ზე გადართვა ჩვეულებრივ წყვეტს კავშირს; შეინარჩუნეთ http:// ორივე გასაღებისთვის, თუ თქვენი პროქსი პორტი კონკრეტულად TLS პორტი არ არის
  • ConnectTimeout მიუთითებს IP-ზე ან პორტზე და არა ავტორიზაციის მონაცემებზე; შეამოწმეთ ხელმისაწვდომობა პორტის შემმოწმებლით

იგივე პრინციპი httpx-სა და aiohttp-ში

URL-ის ფორმატი უცვლელია. httpx-ში შექმენით httpx.Client(proxy='http://user:pass@ip:port'); aiohttp-ში გადაეცით proxy= პარამეტრი session.get(url, proxy=...)-ს. უფრო დიდი მოცულობის ქროულინგი განრიგითა და გამეორებებით, როგორც წესი, უფრო მარტივია Scrapy-ში.

ეტაპობრივი ინსტრუქცია

  1. 1

    პროქსის URL-ის აწყობა

    გადაწერეთ ProxyV4-ის თითოეული ip:port:user:pass ხაზი, როგორც http://user:pass@ip:port, ან გადაიყვანეთ მთელი სია პროქსის ფორმატის კონვერტერით.

  2. 2

    ლექსიკონის შექმნა

    ჩაწერეთ proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    მისი მიბმა Session-ზე

    შექმენით s = requests.Session() და გამოიძახეთ s.proxies.update(proxies), რათა მოთხოვნებს შორის კავშირები აქტიური დარჩეს.

  4. 4

    გამავალი IP-ის დაბეჭდვა

    გაუშვით print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); გამოტანილი IP პროქსის მისამართი უნდა იყოს.

ხშირად დასმული კითხვები

რატომ არის 'https' ჩანაწერი http:// URL?

სქემა აღწერს, როგორ უკავშირდება Python პროქსის და არა ვებსაიტს. urllib3 უკავშირდება პროქსის ჩვეულებრივი HTTP-ით, აგზავნის CONNECT-ს და შემდეგ ამ გვირაბის გავლით ასრულებს TLS-ს https:// საიტთან, ასე რომ გვერდის ტრაფიკი კვლავ დაშიფრულია.

როგორ გადავანაწილო მოთხოვნები 25 სტატიკურ პროქსიზე?

მოათავსეთ 25 URL სიაში, შექმენით pool = itertools.cycle(PROXIES), და ყოველი მოთხოვნისთვის აიღეთ p = next(pool) და გადაეცით proxies={'http': p, 'https': p}. დაიცავით გონივრული დაყოვნება თითოეულ IP-ზე, რათა არცერთი მისამართი ზედმეტად არ გადაიტვირთოს.

იზომება თუ არა ტრაფიკი Python სკრიპტებიდან?

არა. ProxyV4-ის პრივატული IPv4 და სტატიკური ISP ტარიფები მოიცავს შეუზღუდავ გამტარუნარიანობას, ასე რომ ხანგრძლივად მომუშავე სკრიპტები ლიმიტს არ გადააჭარბებს.

წყაროები

სტატიკური IP პული Python სკრიპტებისთვის

პრივატული IPv4 7 ქვეყანაში და სტატიკური ISP აშშ-სა და ვიეტნამში. შეიძინეთ ერთი IP ან პაკეტი; ერთეულის ფასი მცირდება რაოდენობასთან ერთად.

შეამოწმეთ აშშ-ის მიმდინარე ფასები

Related articles

პროქსი პლატფორმების მიხედვით
პროქსი ვებ-სკრეიპინგისთვის: IP-ების ფიქსირებული პული ულიმიტო ტრაფიკით
ვებ-სკრეიპინგის პროქსი Python, Scrapy, Playwright და Selenium-ისთვის: პრივატული IPv4 და სტატიკური ISP პული, ულიმიტო ტრაფიკი და ფიქსირებული ფასი თითო IP-ზე.
პროქსის გამართვა
Playwright პროქსის ავტორიზაცია, ერთი სტატიკური IP თითო კონტექსტზე
მიანიჭეთ Playwright-ის თითოეულ კონტექსტს ავტორიზებული HTTP(S) პროქსი Node.js ან Python-ში, მოარგეთ დროის ზონა და ლოკალი IP-ს და შეამოწმეთ გამავალი მისამართი.
პროქსის გამართვა
Scrapy პროქსი: meta['proxy'], middleware-ის რიგითობა და როტაცია
აუთენტიფიცირებული HTTP(S) პროქსი Scrapy-ში: დააყენეთ request.meta['proxy'], ჩართეთ middleware HttpProxyMiddleware-მდე (750), ცვალეთ IP-ები და ქროულინგის ტემპი.
უფასო ხელსაწყოები
გადაიყვანეთ პროქსი სია თქვენი ხელსაწყოსთვის საჭირო ფორმატში
დააკონვერტირეთ პროქსის სიები ბრაუზერში ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON მასივებს და FoxyProxy-ის ფაილებს შორის მასობრივად.
პროქსი პლატფორმების მიხედვით
პროქსი SEO პოზიციების თრექინგისთვის: ნახეთ ძიების შედეგები ადგილობრივი მომხმარებლის თვალით
SEO პოზიციების თრექინგის პროქსი პრივატული IPv4-ით აშშ-ში, ბრიტანეთში, ვიეტნამში, იაპონიასა და 4 სხვა ბაზარზე: ნახეთ ის, რასაც ადგილობრივი მომხმარებელი ხედავს.
პროქსი პლატფორმების მიხედვით
Amazon seller პროქსები, რომლებიც თითოეულ ანგარიშს მუდმივ მისამართს ანიჭებს
Amazon seller პროქსი Seller Central, KDP და Merch-ისთვის: აშშ-ის სტატიკური ISP ან UK/იაპონიის პირადი IPv4, მხოლოდ თქვენთვის, უცვლელი განახლებისას.
IPV4 · united states
აშშ-ის პირადი IPv4 პროქსი პული სკრეიპინგისთვის, პოზიციების მონიტორინგისა და რეკლამის შემოწმებისთვის
იყიდეთ აშშ-ის პირადი IPv4 პროქსი: სტატიკური datacenter IP-ები, ერთი კლიენტი IP-ზე, ულიმიტო ტრაფიკი. სკრეიპინგისთვის, SERP-ისა და აშშ-ის რეკლამის შესამოწმებლად.
IPV4 · vietnam
ვიეტნამის პირადი IPv4 პროქსი: ერთი ფიქსირებული IP თითო ანგარიშზე დიდი რაოდენობით
ვიეტნამის პირადი IPv4 პროქსი: სტატიკური datacenter IP-ები, თითო მომხმარებელზე, საბითუმო ფასით. სიდინგ-პროფილებისთვის, Shopee-ს მაღაზიებისა და ხელსაწყოებისთვის.