GET и POST запросы с использованием Python

В современном мире веб-приложения и API играют важную роль в обмене данными и коммуникации. Нам часто приходится отправлять HTTP-запросы, такие как GET и POST, чтобы взаимодействовать с этими веб-сервисами. В этой статье мы рассмотрим основы запросов GET и POST с помощью Python и изучим две популярные библиотеки, которые помогают нам решать эти задачи: Requests и urllib.

Table of Contents

Библиотеки Python для работы с HTTP-запросами

При работе с HTTP-запросами в Python есть две основные библиотеки, которые вы можете использовать: Requests и urllib.

Requests

Requests - это популярная и удобная библиотека Python для выполнения HTTP-запросов. Она абстрагирует все сложности выполнения запросов за красивым и простым API, позволяя вам отправлять запросы HTTP/1.1. Вы можете установить библиотеку с помощью pip:

pip install requests

1	pip install requests

Вот пример отправки простого GET-запроса с помощью библиотеки Requests:

import requests

response = requests.get('https://api.example.com/data')
print(response.text)

import requests

response = requests.get('https://api.example.com/data')

print(response.text)

urllib

urllib - это еще одна библиотека в Python, которая предоставляет инструменты для работы с URL-адресами, включая получение данных из Интернета. Это встроенная библиотека, поэтому устанавливать ее отдельно нет необходимости. Однако она немного более низкоуровневая, чем Requests, и работа с ней может показаться вам более сложной.

Чтобы отправить GET-запрос с помощью библиотеки urllib, вы можете использовать следующий код:

from urllib.request import urlopen

response = urlopen('https://api.example.com/data')
print(response.read().decode('utf-8'))

from urllib.request import urlopen

response = urlopen('https://api.example.com/data')

print(response.read().decode('utf-8'))

GET-запросы

GET-запросы используются для получения данных с сервера или API. Давайте подробнее рассмотрим отправку GET-запросов с помощью библиотек Requests и urllib.

GET-запрос с помощью библиотеки Requests

Отправка GET-запроса с помощью библиотеки Requests проста. Вот пример отправки GET-запроса с параметрами запроса:

import requests

url = 'https://api.example.com/search'
params = {'query': 'python', 'page': 1}

response = requests.get(url, params=params)
print(response.text)

import requests

url = 'https://api.example.com/search'

params = {'query': 'python', 'page': 1}

response = requests.get(url, params=params)

print(response.text)

В этом примере мы отправляем GET-запрос на конечную точку https://api.example.com/search с параметрами запроса query и page. Библиотека Requests автоматически кодирует параметры и добавляет их к URL.

GET-запрос с помощью библиотеки urllib

Вот как можно отправить GET-запрос с параметрами запроса с помощью библиотеки urllib:

from urllib.request import urlopen
from urllib.parse import urlencode, urljoin

base_url = 'https://api.example.com/search'
params = {'query': 'python', 'page': 1}
query_string = urlencode(params)
url = urljoin(base_url, '?' + query_string)

response = urlopen(url)
print(response.read().decode('utf-8'))

from urllib.request import urlopen

from urllib.parse import urlencode, urljoin

base_url = 'https://api.example.com/search'

params = {'query': 'python', 'page': 1}

query_string = urlencode(params)

url = urljoin(base_url, '?' + query_string)

response = urlopen(url)

print(response.read().decode('utf-8'))

В этом примере мы используем функцию urlencode для создания строки запроса из параметров и функцию urljoin для создания окончательного URL.

POST-запросы

POST-запросы используются для отправки данных на сервер или API, и обычно они применяются для отправки форм, загрузки файлов или обновления данных на сервере. Давайте подробнее рассмотрим отправку POST-запросов с помощью библиотек Requests и urllib.

POST-запрос с помощью библиотеки Requests

Чтобы отправить POST-запрос с помощью библиотеки Requests, вы можете использовать следующий код:

import requests

data = {'key': 'value'}
response = requests.post('https://api.example.com/submit', data=data)
print(response.text)

import requests

data = {'key': 'value'}

response = requests.post('https://api.example.com/submit', data=data)

print(response.text)

В этом примере мы отправляем POST-запрос на конечную точку https://api.example.com/submit с данными формы. Библиотека Requests автоматически кодирует данные и устанавливает заголовок Content-Type в application/x-www-form-urlencoded.

POST-запрос с помощью библиотеки urllib

Отправка POST-запроса с помощью библиотеки urllib включает в себя несколько дополнительных шагов по сравнению с библиотекой Requests:

import urllib.request
import urllib.parse

data = {'key': 'value'}
encoded_data = urllib.parse.urlencode(data).encode('utf-8')

request = urllib.request.Request('https://api.example.com/submit', data=encoded_data)
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

import urllib.request

import urllib.parse

data = {'key': 'value'}

encoded_data = urllib.parse.urlencode(data).encode('utf-8')

request = urllib.request.Request('https://api.example.com/submit', data=encoded_data)

response = urllib.request.urlopen(request)

print(response.read().decode('utf-8'))

В этом примере мы используем функцию urlencode для кодирования данных формы и класс Request для создания POST-запроса. Затем мы используем функцию urlopen для отправки запроса и чтения ответа.

Отправка данных в POST-запросах

Данные могут быть отправлены в различных форматах, таких как JSON, XML или данные формы. Обе библиотеки позволяют отправлять данные в нужном вам формате. Вот пример отправки данных в формате JSON в POST-запросе с помощью библиотеки Requests:

import requests
import json

data = {'key': 'value'}
headers = {'Content-Type': 'application/json'}

response = requests.post('https://api.example.com/submit', data=json.dumps(data), headers=headers)
print(response.text)

import requests

import json

data = {'key': 'value'}

headers = {'Content-Type': 'application/json'}

response = requests.post('https://api.example.com/submit', data=json.dumps(data), headers=headers)

print(response.text)

Работа с данными JSON

JSON (JavaScript Object Notation) - это популярный формат обмена данными. Библиотеки Requests и urllib предоставляют встроенную поддержку для работы с данными JSON.

Например, при использовании библиотеки Requests вы можете легко преобразовать ответ JSON в словарь Python с помощью метода json():

import requests

response = requests.get('https://api.example.com/data')
data = response.json()
print(data)

import requests

response = requests.get('https://api.example.com/data')

data = response.json()

print(data)

С помощью urllib вы можете использовать модуль json для загрузки данных JSON:

import urllib.request
import json

response = urllib.request.urlopen('https://api.example.com/data')
data = json.load(response)
print(data)

import urllib.request

import json

response = urllib.request.urlopen('https://api.example.com/data')

data = json.load(response)

print(data)

Обработка ошибок

При выполнении HTTP-запросов вы можете столкнуться с ошибками, такими как недопустимые URL-адреса или проблемы с сервером. Обе библиотеки предлагают способы изящной обработки этих ошибок.

Ошибки HTTP

Ошибки HTTP представлены кодами состояния, такими как 404 для "Not Found" или 500 для "Internal Server Error". Вы можете проверить код состояния ответа, чтобы соответствующим образом обработать эти ошибки. Например, используя библиотеку Requests:

import requests

response = requests.get('https://api.example.com/data')

if response.status_code == 200:
  print(response.text)
else:
  print(f "Error: {response.status_code}")

import requests

response = requests.get('https://api.example.com/data')

if response.status_code == 200:

print(response.text)

else:

print(f "Error: {response.status_code}")

Исключения

Обе библиотеки могут вызывать исключения, если с запросом возникли проблемы. Вы можете перехватить эти исключения, чтобы предотвратить аварийное завершение программы. Например, используя библиотеку urllib:

import urllib.request

try:
  response = urllib.request.urlopen('https://api.example.com/data')
  print(response.read().decode('utf-8'))
except urllib.error.HTTPError as e:
  print(f "Error: {e.code}")
except urllib.error.URLError as e:
  print(f "Error: {e.reason}")

import urllib.request

try:

response = urllib.request.urlopen('https://api.example.com/data')

print(response.read().decode('utf-8'))

except urllib.error.HTTPError as e:

print(f "Error: {e.code}")

except urllib.error.URLError as e:

print(f "Error: {e.reason}")

Аутентификация в API

Некоторые API требуют аутентификации для доступа к своим данным или выполнения действий. Библиотеки Requests и urllib поддерживают различные методы аутентификации, такие как Basic Auth, OAuth и API-ключи. Например, вот как использовать Basic Auth с библиотекой Requests:

import requests
from requests.auth import HTTPBasicAuth

response = requests.get('https://api.example.com/secure', auth=HTTPBasicAuth('username', 'password'))
print(response.text)

import requests

from requests.auth import HTTPBasicAuth

response = requests.get('https://api.example.com/secure', auth=HTTPBasicAuth('username', 'password'))

print(response.text)

Файлы cookie и сеансы

Cookies и сессии используются для сохранения состояния между запросами. Обе библиотеки позволяют работать с файлами cookie и данными сеанса, когда это необходимо.

Например, используя библиотеку Requests, вы можете создать объект сессии, который будет автоматически обрабатывать cookies:

import requests

session = requests.Session()
response = session.get('https://api.example.com/login', data={'username': 'user', 'password': 'pass'})

# Последующие запросы с объектом session будут использовать сохраненные cookies
response = session.get('https://api.example.com/secure')
print(response.text)

import requests

session = requests.Session()

response = session.get('https://api.example.com/login', data={'username': 'user', 'password': 'pass'})

# Последующие запросы с объектом session будут использовать сохраненные cookies

response = session.get('https://api.example.com/secure')

print(response.text)

С помощью urllib вы можете использовать модуль http.cookiejar для управления cookies:

import urllib.request
from http.cookiejar import CookieJar

cookie_jar = CookieJar()
cookie_handler = urllib.request.HTTPCookieProcessor(cookie_jar)
opener = urllib.request.build_opener(cookie_handler)

response = opener.open('https://api.example.com/login', data=b'username=user&password=pass')

# Последующие запросы с открывателем будут использовать сохраненные куки
response = opener.open('https://api.example.com/secure')
print(response.read().decode('utf-8'))

import urllib.request

from http.cookiejar import CookieJar

cookie_jar = CookieJar()

cookie_handler = urllib.request.HTTPCookieProcessor(cookie_jar)

opener = urllib.request.build_opener(cookie_handler)

response = opener.open('https://api.example.com/login', data=b'username=user&password=pass')

# Последующие запросы с открывателем будут использовать сохраненные куки

response = opener.open('https://api.example.com/secure')

print(response.read().decode('utf-8'))

Тайм-аут и повторные запросы

Иногда запрос может занять больше времени, чем ожидалось, или завершиться неудачей из-за временных проблем. Обе библиотеки предоставляют опции для установки таймаутов и повторных попыток выполнения неудачных запросов.

Например, в библиотеке Requests вы можете установить тайм-аут для запроса следующим образом:

import requests

try:
  response = requests.get('https://api.example.com/data', timeout=5)
  print(response.text)
except requests.exceptions.Timeout:
  print("Запрос завершился")

import requests

try:

response = requests.get('https://api.example.com/data', timeout=5)

print(response.text)

except requests.exceptions.Timeout:

print("Запрос завершился")

Для реализации повторных запросов можно использовать объект Session и настроить пользовательскую стратегию Retry:

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

retry_strategy = Retry(
  total=3,
  backoff_factor=1,
  status_forcelist=[429, 500, 502, 503, 504],
  method_whitelist=["HEAD", "GET", "OPTIONS", "POST"]
)

adapter = HTTPAdapter(max_retries=retry_strategy)
session = requests.Session()
session.mount("https://", адаптер)
session.mount("http://", adapter)

response = session.get('https://api.example.com/data')
print(response.text)

import requests

from requests.adapters import HTTPAdapter

from urllib3.util.retry import Retry

retry_strategy = Retry(

total=3,

backoff_factor=1,

status_forcelist=[429, 500, 502, 503, 504],

method_whitelist=["HEAD", "GET", "OPTIONS", "POST"]

)

adapter = HTTPAdapter(max_retries=retry_strategy)

session = requests.Session()

session.mount("https://", адаптер)

session.mount("http://", adapter)

response = session.get('https://api.example.com/data')

print(response.text)

Заключение

В этой статье мы рассмотрели, как выполнять GET и POST запросы с помощью Python, сосредоточившись на библиотеках Requests и urllib. Мы также рассмотрели работу с данными JSON, обработку ошибок, аутентификацию, cookies, сессии и таймауты. С помощью этих инструментов вы сможете уверенно взаимодействовать с веб-сервисами и API, используя Python.