Python da User-Agent va Headers bilan Ishlash

Ushbu qo‘llanma Python’da requests kutubxonasidan foydalanib User-Agent va boshqa so‘rov sarlavhalariga ishlov berishni o‘rgatadi. User-Agent va boshqa sarlavhalarning qanday ishlatilishini amaliy misollar orqali tushuntiradi.

---

1 HTTP Headers haqida Kirish

HTTP so‘rovlari va javoblari headers yordamida qo‘shimcha ma’lumotlarni almashadi. Bu qo‘shimcha ma’lumotlar qanday qilib so‘rov bajarilishini yoki qanday turdagi javob qaytarilishini boshqarishi mumkin.

Headerning asosiy turlari

• Request Headers (So‘rov sarlavhalari) – mijoz (foydalanuvchi yoki dastur) tomonidan yuboriladi va serverga qanday turdagi javobni kutayotgani yoki qanday konfiguratsiya talab etilishini bildiradi.

• Response Headers (Javob sarlavhalari) – server tomonidan mijozga qaytariladi va javobning tavsiflarini bildiradi.

Mashhur Request Headers:

• User-Agent – so‘rovni yuborayotgan mijoz yoki dastur haqida ma’lumot beradi.

• Accept – mijoz qanday formatdagi javobni qabul qilishini bildiradi.

• Authorization – avtorizatsiya ma’lumotlarini (token, login ma’lumotlari va h.k.) o‘z ichiga oladi.

2 User-Agent haqida

User-Agent sarlavhasi mijoz yoki dastur haqida ma’lumot beradi. Bu orqali server mijoz haqida asosiy ma’lumotlarni bilishi va so‘rovni mos ravishda qayta ishlashi mumkin. Veb-saytlar va API’lar User-Agent orqali:

• Foydalanuvchi qaysi brauzer yoki operatsion tizimdan foydalanayotganini biladi.

• Foydalanuvchi mobil yoki kompyuter qurilmadan kirganligini aniqlaydi.

Misol uchun: Foydalanuvchi Google Chrome’dan foydalanayotganda User-Agent quyidagicha bo‘lishi mumkin:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36

Python yordamida User-Agent qiymatini sozlash orqali veb-sayt yoki API bilan muloqotni o‘z xohishingizga ko‘ra boshqarishingiz mumkin.

3 Python’da Headers va User-Agent bilan Ishlash

Python’da requests kutubxonasi yordamida so‘rovlarni yuborayotganda headers sarlavhalarini qo‘lda belgilash mumkin. Buning uchun headers parametri bilan birgalikda User-Agent va boshqa kerakli sarlavhalarni o‘zingizning xohishingizga ko‘ra sozlash mumkin.

import requests

# So‘rov uchun sarlavhalarni tayyorlash
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36",
    "Accept": "application/json"
}

# URL manzilga GET so‘rovi yuborish
url = "https://jsonplaceholder.typicode.com/posts/1"
response = requests.get(url, headers=headers)

# Javobni chiqarish
print("Status kodi:", response.status_code)
print("Javob matni:", response.text)

Yuqoridagi kod qanday ishlaydi:

1. User-Agent – So‘rovni brauzer yoki ilova yuborayotgandek taqdim etadi.

2. Accept – Serverga qaysi turdagi ma’lumotlarni (JSON formatida) qabul qilishni bildirdi.

4 User-Agent sarlavhasining Ahamiyati

User-Agent sarlavhasi veb-saytlar uchun muhimdir, chunki u orqali:

1. Turli kontentni taqdim etish: Foydalanuvchi mobil yoki kompyuter qurilmasidan kirganligini aniqlash orqali sayt dizaynini moslashtirish.

2. Botlarni aniqlash va bloklash: Ba’zi saytlar User-Agent orqali bot yoki skraper dasturlarni aniqlashga harakat qiladi.

3. Hisob-kitob va statistika: Brauzer turi va versiyalariga asoslangan holda foydalanuvchi statistikasini yaratish.

Shu sababli, so‘rov yuborishda User-Agentni o‘zgartirish saytlardan ma’lumot olishda foydali bo‘lishi mumkin.

5 Turli Headers’lardan foydalanish

Python’da requests yordamida boshqa sarlavhalarni ham headers ichida yuborish mumkin. Quyida bir nechta keng qo‘llaniladigan sarlavhalar va ularning vazifalari keltirilgan:

Authorization

Avtorizatsiyalash uchun Authorization sarlavhasidan foydalaniladi. Masalan, API token orqali autentifikatsiya qilish uchun Bearer tokendan foydalanish mumkin.

headers = {
    "Authorization": "Bearer YOUR_ACCESS_TOKEN"
}
response = requests.get("https://api.example.com/data", headers=headers)
print(response.json())

Referer

Referer sarlavhasi so‘rov yuborilgan manzilni bildiradi. Bu orqali server foydalanuvchi qaysi sahifadan kirganligini aniqlashi mumkin.

headers = {
    "Referer": "https://example.com"
}
response = requests.get("https://jsonplaceholder.typicode.com/posts", headers=headers)
print(response.text)

Content-Type

Content-Type sarlavhasi so‘rovda yuborilayotgan ma’lumotning turini bildiradi. Masalan, JSON yoki form-data formatida ma’lumot yuborish.

headers = {
    "Content-Type": "application/json"
}
data = {"title": "Foo", "body": "Bar", "userId": 1}
response = requests.post("https://jsonplaceholder.typicode.com/posts", headers=headers, json=data)
print(response.json())

6 Amaliy Misol: Foydalanuvchi Tanishi va Ma’lumot Qaytarish

Quyida turli sarlavhalar va User-Agentdan foydalanib so‘rov yuborish misoli keltirilgan. Ushbu misol veb-saytdan ma’lumot olish uchun kerakli headers sozlashni o‘z ichiga oladi.

import requests

# So‘rov uchun headers sozlash
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36",
    "Accept": "application/json",
    "Authorization": "Bearer YOUR_ACCESS_TOKEN",
    "Referer": "https://example.com",
    "Content-Type": "application/json"
}

# URLga so‘rov yuborish
url = "https://jsonplaceholder.typicode.com/posts"
data = {"title": "Hello", "body": "World", "userId": 1}
response = requests.post(url, headers=headers, json=data)

# Javobni chiqarish
print("Status kodi:", response.status_code)
print("Javob JSON:", response.json())

7 Yaxshi amaliyotlar

Headers bilan ishlashda quyidagi amaliyotlarga rioya qilish tavsiya etiladi:

1. Maxsus User-Agentlardan foydalaning: O‘zingizga mos User-Agent yozishingiz mumkin, lekin bu sayt shartlari va maxfiylik siyosatiga muvofiq bo‘lishi kerak.

2. Avtorizatsiya ma’lumotlarini ehtiyotkorlik bilan qo‘llang: API token va boshqa autentifikatsiya ma’lumotlarini xavfsiz saqlash muhim.

3. Maxsus Headerslardan foydalaning: Ba’zi headers sayt tomonidan maxsus shartlarda qo‘llanishi mumkin, shuning uchun kerakli headersni aniqlash uchun sayt hujjatlarini o‘rganing.

8 Xulosa

User-Agent va boshqa headers sarlavhalari bilan ishlash orqali so‘rovlar boshqaruvini qo‘lga olish, autentifikatsiya, ma’lumot formatini boshqarish va foydalanuvchi muloqotini moslash mumkin. Bu amaliyotlar veb-sayt va API bilan samarali ishlashni ta’minlaydi.