Apache Airflow Interview Questions Hindi mein

Apache Airflow: Data Pipelines का Orchestration कोर्स के 27 सवाल, हर सवाल के सही जवाब और explanation के साथ। जवाब देखने से पहले ख़ुद सोचें।

Airflow की बुनियाद

1. Airflow किसमें सबसे अच्छा है?

  1. Real-time stream processing
  2. अपने workers के भीतर विशाल datasets प्रोसेस करना
  3. निर्भर tasks के batch workflows को schedule और monitor करना
  4. Web pages परोसना
जवाब देखें

जवाब: निर्भर tasks के batch workflows को schedule और monitor करना

Airflow orchestration करता है; भारी काम उन systems में होना चाहिए जो उसके लिए बने हैं।

पाठ: Airflow क्या है और क्या नहीं

2. कौन-सा component तय करता है कि कौन-से tasks चलने को तैयार हैं?

  1. Scheduler
  2. Browser
  3. OS का metadata cache
  4. अकेला Python interpreter
जवाब देखें

जवाब: Scheduler

Scheduler schedules और निर्भरताएँ परखता है और executor के लिए tasks queue करता है।

पाठ: Architecture: Scheduler, Executor, Workers, Database

3. Airflow को constraints फ़ाइल के साथ install क्यों करें?

  1. UI खोलने के लिए यह ज़रूरी है
  2. यह Airflow को मुफ़्त बनाती है
  3. यह scheduler हटाती है
  4. यह संगत dependency versions pin करती है और टकराव से बचाती है
जवाब देखें

जवाब: यह संगत dependency versions pin करती है और टकराव से बचाती है

Constraints हर release के लिए packages के परखे हुए versions का समूह देती हैं।

पाठ: स्थानीय रूप से Install और Run

4. Task instance क्या है?

  1. स्वयं DAG फ़ाइल
  2. किसी ख़ास DAG run में एक task, अपनी स्थिति के साथ
  3. Metadata database
  4. एक worker मशीन
जवाब देखें

जवाब: किसी ख़ास DAG run में एक task, अपनी स्थिति के साथ

Task instance किसी ख़ास run के लिए task का runtime रिकॉर्ड है।

पाठ: मूल अवधारणाएँ: DAG, Task, Run, Instance

DAGs लिखना

5. Provider packages Airflow में क्या जोड़ते हैं?

  1. नया database
  2. बाहरी systems के लिए operators, hooks और sensors
  3. तेज़ CPUs
  4. Browser themes
जवाब देखें

जवाब: बाहरी systems के लिए operators, hooks और sensors

Providers clouds, databases और tools के integrations को पैक करते हैं।

पाठ: Operators और Providers

6. TaskFlow में एक @task से अगले तक डेटा कैसे जाता है?

  1. डेटा नहीं जा सकता
  2. Global variable से
  3. Email से
  4. Return value के रूप में, XCom में रखा हुआ
जवाब देखें

जवाब: Return value के रूप में, XCom में रखा हुआ

Return values XComs बनते हैं और Airflow निर्भरता अपने आप जोड़ता है।

पाठ: TaskFlow API

7. `extract >> [clean_a, clean_b] >> load` का क्या मतलब है?

  1. दोनों clean tasks extract के बाद चलते हैं, और load दोनों का इंतज़ार करता है
  2. load पहले चलता है
  3. tasks सिर्फ़ list के क्रम में एक के बाद एक चलते हैं
  4. यह syntax error है
जवाब देखें

जवाब: दोनों clean tasks extract के बाद चलते हैं, और load दोनों का इंतज़ार करता है

>> के दाईं ओर list fan-out करती है; बाईं ओर list fan-in करती है।

पाठ: निर्भरताएँ तय करना

8. `catchup=False` क्या करता है?

  1. पुराने runs हटाता है
  2. DAG बंद करता है
  3. चूके हर interval के लिए एक की जगह सिर्फ़ ताज़ा run बनाता है
  4. DAG दो बार चलाता है
जवाब देखें

जवाब: चूके हर interval के लिए एक की जगह सिर्फ़ ताज़ा run बनाता है

Catchup के बिना Airflow start_date से हर interval backfill नहीं करता।

पाठ: Scheduling: Cron, Intervals और Catchup

डेटा भेजना और Templating

9. 2 GB के dataset के लिए XCom से क्या भेजना चाहिए?

  1. कुछ नहीं, XCom वर्जित है
  2. पूरा dataset
  3. सिर्फ़ उसका storage स्थान
  4. एक screenshot
जवाब देखें

जवाब: सिर्फ़ उसका storage स्थान

XCom छोटे metadata के लिए है; बड़ा डेटा बाहरी storage में होना चाहिए।

पाठ: XComs और उनकी सीमाएँ

10. `{{ ds }}` आपको क्या देता है?

  1. Run की logical date, YYYY-MM-DD रूप में
  2. मौजूदा घड़ी का समय
  3. DAG फ़ाइल का नाम
  4. एक random संख्या
जवाब देखें

जवाब: Run की logical date, YYYY-MM-DD रूप में

यह run से जुड़ा है, इसलिए re-runs हर बार वही तारीख़ प्रोसेस करते हैं।

पाठ: Jinja Templating और Macros

11. DAG के लिए database password कहाँ रहना चाहिए?

  1. सार्वजनिक repository में
  2. DAG फ़ाइल में hard-coded
  3. Task के नाम में
  4. Connection या secrets backend में
जवाब देखें

जवाब: Connection या secrets backend में

Connections और secrets backends credentials को source control से बाहर रखते हैं।

पाठ: Connections, Variables और Secrets

Control Flow

12. Branch task द्वारा न चुने गए रास्तों का क्या होता है?

  1. वे फिर भी चलते हैं
  2. वे skipped होते हैं
  3. वे विफल होते हैं
  4. वे DAG से हटाए जाते हैं
जवाब देखें

जवाब: वे skipped होते हैं

न चुनी गई branches उस run के लिए skipped स्थिति पाती हैं।

पाठ: Branching

13. कौन-सा नियम failure alert तभी चलाता है जब upstream task विफल हो?

  1. all_success
  2. one_failed
  3. always_skip
  4. none_failed
जवाब देखें

जवाब: one_failed

one_failed तब चलता है जब कम से कम एक upstream task विफल हो चुका हो।

पाठ: Trigger Rules

14. Sensor पर timeout क्यों रखें?

  1. यह DAG हटाता है
  2. Timeouts sensors को तेज़ बनाते हैं
  3. Sensors को यह वाक्य-रचना के लिए चाहिए
  4. ताकि शर्त कभी सही न हो तो वह हमेशा इंतज़ार करने की जगह विफल हो
जवाब देखें

जवाब: ताकि शर्त कभी सही न हो तो वह हमेशा इंतज़ार करने की जगह विफल हो

सीमित इंतज़ार चुप, अनिश्चितकालीन अटकाव रोकता है।

पाठ: Sensors और Deferrable Operators

15. Dynamic task mapping कब उपयोगी है?

  1. जब समानांतर tasks की संख्या सिर्फ़ run के समय पता हो
  2. जब आप DAG फ़ाइल चलते समय बदलना चाहें
  3. जब कोई task न हो
  4. कभी नहीं
जवाब देखें

जवाब: जब समानांतर tasks की संख्या सिर्फ़ run के समय पता हो

Mapping run के दौरान बने डेटा से task instances बनाता है।

पाठ: Dynamic Task Mapping

भरोसेमंद Pipelines डिज़ाइन करना

16. Task idempotent क्यों होना चाहिए?

  1. क्योंकि Airflow files लिखना मना करता है
  2. उसे धीमा करने के लिए
  3. ताकि retries और re-runs डेटा दोहराएँ या बिगाड़ें नहीं
  4. तारीख़ों के उपयोग से बचने के लिए
जवाब देखें

जवाब: ताकि retries और re-runs डेटा दोहराएँ या बिगाड़ें नहीं

सुरक्षित दोहराव ही orchestrators को भरोसे से retry और backfill करने देता है।

पाठ: Idempotent, Partitioned Tasks

17. Backfills को सुरक्षित क्या बनाता है?

  1. बिना keys के append करना
  2. datetime.now() उपयोग करना
  3. Idempotent tasks जो run की तारीख़ें उपयोग करते हैं
  4. बिना सीमा सब कुछ एक साथ चलाना
जवाब देखें

जवाब: Idempotent tasks जो run की तारीख़ें उपयोग करते हैं

निश्चित, तारीख़-आधारित tasks बिना दुष्प्रभाव दोहराए जा सकते हैं।

पाठ: Backfills और Reprocessing

18. भारी डेटा transformation आम तौर पर कहाँ चलना चाहिए?

  1. उन systems में जो उसके लिए बने हैं, जैसे Spark या warehouse
  2. Airflow scheduler के भीतर
  3. XCom के भीतर
  4. Browser में
जवाब देखें

जवाब: उन systems में जो उसके लिए बने हैं, जैसे Spark या warehouse

Airflow काम का समन्वय करता है; विशेष engines डेटा प्रोसेस करते हैं।

पाठ: Airflow को हल्का रखें

Reliability और संचालन

19. Task को retry करना कब सुरक्षित है?

  1. सिर्फ़ बिना तारीख़ वाले tasks के लिए
  2. कभी नहीं
  3. सिर्फ़ जब वह बिना keys के rows append करता हो
  4. जब task idempotent हो
जवाब देखें

जवाब: जब task idempotent हो

Idempotent task दोहराने से डेटा दोहरा या ख़राब नहीं हो सकता।

पाठ: Retries, Timeouts और Callbacks

20. Pool क्या करता है?

  1. XComs रखता है
  2. सीमित करता है कि एक साझा संसाधन को एक साथ कितने tasks उपयोग करें
  3. Connections encrypt करता है
  4. DAGs का नाम बदलता है
जवाब देखें

जवाब: सीमित करता है कि एक साझा संसाधन को एक साथ कितने tasks उपयोग करें

Pools DAGs भर में सीमित संसाधन का समवर्ती उपयोग सीमित करते हैं।

पाठ: Concurrency, Pools और Priorities

21. Pipeline के भीतर डेटा-गुणवत्ता क्यों जाँचें?

  1. गुणवत्ता जाँचें सिर्फ़ डिज़ाइन से DAGs को ज़्यादा विफल करती हैं
  2. सफल DAG run भी ग़लत या ग़ायब डेटा बना सकता है
  3. Airflow SQL नहीं चला सकता
  4. यह monitoring की जगह लेता है
जवाब देखें

जवाब: सफल DAG run भी ग़लत या ग़ायब डेटा बना सकता है

Task सफलता का मतलब बस यह कि कोड चला; स्पष्ट जाँचें पुष्टि करती हैं कि डेटा अपेक्षाओं पर खरा है।

पाठ: Monitoring, Logs और SLAs

Scaling और Deployment

22. कौन-सा executor हर task के लिए नया pod शुरू करता है?

  1. कोई executor ऐसा नहीं करता
  2. LocalExecutor
  3. CeleryExecutor
  4. KubernetesExecutor
जवाब देखें

जवाब: KubernetesExecutor

KubernetesExecutor अलगाव और प्रति-task संसाधनों के लिए हर task का pod बनाता है।

पाठ: Executors और Deployment विकल्प

23. DagBag import test क्या पकड़ता है?

  1. DAG files में syntax errors, ग़लत imports और cycles
  2. Network outages
  3. Warehouse में धीमी queries
  4. ग़लत व्यावसायिक तर्क अपने आप
जवाब देखें

जवाब: DAG files में syntax errors, ग़लत imports और cycles

यह DAG files को वैसे लोड करता है जैसे scheduler करता और जो parse न हो उसे बताता है।

पाठ: Git और CI से DAGs Deploy करना

सब कुछ जोड़ना

24. इस डिज़ाइन में किसी भी पिछले हफ़्ते का backfill सुरक्षित क्यों है?

  1. डेटा कभी रखा नहीं जाता
  2. Airflow backfills मना करता है
  3. Tasks idempotent हैं और run की तारीख़ उपयोग करते हैं
  4. क्योंकि कोई retries नहीं हैं
जवाब देखें

जवाब: Tasks idempotent हैं और run की तारीख़ उपयोग करते हैं

निश्चित, तारीख़-partitioned writes का मतलब है कि तारीख़ दोबारा चलाने पर वही नतीजा मिलता है।

पाठ: केस स्टडी: दैनिक Sales Pipeline

25. 5 अक्टूबर की logical date वाला दैनिक DAG किस अवधि को ढकता है?

  1. सिर्फ़ वह मिनट जब शुरू होता है
  2. 6 से 7 अक्टूबर
  3. 5 अक्टूबर 00:00 से 6 अक्टूबर 00:00, उसके ख़त्म होने के बाद चलता है
  4. पूरा महीना
जवाब देखें

जवाब: 5 अक्टूबर 00:00 से 6 अक्टूबर 00:00, उसके ख़त्म होने के बाद चलता है

Data interval logical date से शुरू होने वाला दिन है; run उस interval के बीतने पर शुरू होता है।

पाठ: Revision: Cheat Sheet और Self-Check

26. Branch के बाद सब कुछ, join task समेत, skipped है। संभावित सुधार क्या है?

  1. Join task का trigger_rule none_failed_min_one_success रखें
  2. Branch हटाएँ
  3. Retries बढ़ाएँ
  4. datetime.now() उपयोग करें
जवाब देखें

जवाब: Join task का trigger_rule none_failed_min_one_success रखें

डिफ़ॉल्ट all_success नियम join को skip कर देता है जब एक upstream रास्ता skipped हो।

पाठ: Revision: Cheat Sheet और Self-Check

27. 5 GB DataFrame को tasks के बीच भेजने का कौन-सा तरीक़ा सही है?

  1. Email करें
  2. DataFrame लौटाएँ ताकि वह metadata DB में रखा जाए
  3. Logs में छापें
  4. उसे object storage में लिखें और path XCom से भेजें
जवाब देखें

जवाब: उसे object storage में लिखें और path XCom से भेजें

XComs छोटे मानों के लिए हैं; बड़ा डेटा बाहरी storage में होना चाहिए।

पाठ: Revision: Cheat Sheet और Self-Check

← कोर्स पर वापस जाएँ