Semalt taqrizi - Skriping skriptini ishga tushirish

Havo oqimi bu Python uchun rejalashtiruvchi kutubxonalar bo'lib, har qanday foydalanuvchilarning parallel ravishda bajarilgan ko'p tizimli ish oqimlarini sozlash uchun ishlatiladi. Havo oqimining yagona quvur liniyasi SQL, bosh va Python operatsiyalarini o'z ichiga oladi. Ushbu vosita vazifalar o'rtasidagi bog'liqlikni, parallel ravishda bajarilishi kerak bo'lgan vazifalarni aniqlashga yordam beradigan va boshqa funktsiyalar bajarilgandan keyin bajarilishi kerak bo'lgan elementlarni belgilash orqali ishlaydi.

Nega havo oqimi?

Havo oqimi vositasi Python-da yozilgan bo'lib, sizga o'zingizning operatorlaringizni allaqachon o'rnatilgan maxsus funktsiyalarga qo'shish uchun ustunlik beradi. Ushbu vosita veb-saytdan yaxshi tuzilgan ma'lumotlar jadvaliga o'tish orqali ma'lumotlarni qirqishga imkon beradi. Havo oqimi ma'lum bir ish oqimini ifodalash uchun Yo'naltirilgan Atsiklik Grafiklardan (DAG) foydalanadi. Bunday holda, ish jarayoni yo'naltirilgan bog'liqlikni o'z ichiga olgan vazifalar to'plamini anglatadi.

Apache Airflow qanday ishlaydi

Havo oqimi bu vazifalarni o'zlarining bog'liqliklari sifatida belgilash uchun ishlaydigan omborlarni boshqarish tizimi, chunki kod funktsiyalarni jadval asosida bajaradi va ishlarni barcha ishchilarga taqsimlaydi. Ushbu vosita ishlayotgan va o'tgan vazifalarning holatini ko'rsatadigan foydalanuvchi interfeysini taqdim etadi.

Havo oqimi foydalanuvchilarga vazifalarni bajarish jarayoni haqidagi diagnostik ma'lumotlarni namoyish etadi va oxirgi foydalanuvchiga vazifalarni bajarishni qo'lda boshqarishga imkon beradi. E'tibor bering, yo'naltirilgan siklik grafik faqat ijro kontekstini o'rnatish va vazifalarni tartibga solish uchun ishlatiladi. Havo oqimida vazifalar skriptni ishlaydigan muhim elementlardir. Qirqish jarayonida vazifalar ikkita lazzatdan iborat bo'lib, ular quyidagilardan iborat:

  • Operator

Ba'zi hollarda, vazifalar oxirgi foydalanuvchilar tomonidan belgilangan operatsiyalarni bajaradigan operatorlar sifatida ishlaydi. Operatorlar Python dasturlash tilida bajarilishi mumkin bo'lgan skriptlarni va boshqa funktsiyalarni ishlatish uchun mo'ljallangan.

  • Sensor

Vazifalar sensorlar sifatida ishlash uchun ham ishlab chiqilgan. Bunday holda, bir-biriga bog'liq bo'lgan vazifalarni bajarish ish oqimi muammosiz bajariladigan mezon bajarilgunga qadar to'xtatilishi mumkin.

Skriptni ishga tushirish uchun havo oqimi turli sohalarda qo'llaniladi. Quyida havo oqimini qanday ishlatish bo'yicha ko'rsatma mavjud.

  • Brauzeringizni oching va foydalanuvchi interfeysini tekshiring
  • Muvaffaqiyatsiz bajarilgan ishlarni ko'rish uchun ishlamay qolganini tekshiring va ustiga bosing
  • Nosozlik sababini tekshirish uchun "Ko'rish jurnalini" bosing. Ko'p holatlarda parolni autentifikatsiya qilish ish oqimining buzilishiga olib keladi
  • Ma'mur bo'limiga o'ting va "Ulanishlar" ni bosing. Yangi parolni olish uchun Postgres aloqasini o'zgartiring va "Saqlash" ni bosing.
  • Brauzeringizga yana tashrif buyuring va bajarilmagan vazifani bosing. Vazifa ustiga bosing va "Tozalash" ga teging, shunda vazifa keyingi safar muvaffaqiyatli ishlaydi.

Ko'rib chiqadigan boshqa Python dasturlari

Cron

Cron - bu vaqti-vaqti bilan belgilangan vaqt, sana va vaqtlarda skriptlarni skriptlarni ishga tushirish uchun ishlatiladigan Unix-ga asoslangan OS. Ushbu kutubxona asosan dasturiy muhitni saqlash va sozlash uchun ishlatiladi.

Luiji

Luigi - Python moduli bo'lib, u vizualizatsiya va qaramlikni hal qilishga imkon beradi. Luigi ish joylarini yig'ishning murakkab quvurlarini yaratish uchun ishlatiladi.

Havo oqimi bu qaramlikni boshqarish loyihalarini boshqarish uchun ishlatiladigan Python uchun rejalashtiruvchi kutubxona. Havo oqimida ishlaydigan vazifalar bir-biriga bog'liq. Izchil natijalarga erishish uchun siz Airflow skriptingizni har bir yoki ikki soatdan keyin avtomatik ravishda ishga tushirishni o'rnatishingiz mumkin.

mass gmail