Apache Spark Interview Questions Hindi mein

Apache Spark: DataFrames से Big Data Processing कोर्स के 27 सवाल, हर सवाल के सही जवाब और explanation के साथ। जवाब देखने से पहले ख़ुद सोचें।

Spark की बुनियाद

1. Spark मुख्य रूप से किसके लिए उपयोग होता है?

  1. Web pages डिज़ाइन करना
  2. Database की तरह डेटा स्थायी रूप से रखना
  3. कई cores या मशीनों पर बड़े datasets की समानांतर processing
  4. Passwords सँभालना
जवाब देखें

जवाब: कई cores या मशीनों पर बड़े datasets की समानांतर processing

Spark compute engine है जो अलग storage से पढ़ता और उसमें लिखता है।

पाठ: Spark क्या है

2. Spark job क्या शुरू करता है?

  1. count() या write जैसा action
  2. DataFrame variable बनाना
  3. pyspark import करना
  4. Comment टाइप करना
जवाब देखें

जवाब: count() या write जैसा action

Transformations सिर्फ़ योजना बनाते हैं; action Spark को उसे सचमुच चलाने पर मजबूर करता है।

पाठ: Architecture: Driver, Executors, Jobs, Stages, Tasks

3. PySpark में DataFrames और SQL का प्रवेश-बिंदु क्या है?

  1. pandas.read()
  2. SparkPlug
  3. DataBase()
  4. SparkSession
जवाब देखें

जवाब: SparkSession

SparkSession पहले बनता है और डेटा पढ़ने व SQL चलाने में उपयोग होता है।

पाठ: Spark चलाना और SparkSession बनाना

4. Raw RDDs की जगह DataFrames क्यों चुनें?

  1. RDDs अब मौजूद नहीं
  2. Catalyst optimizer DataFrame ऑपरेशनों की कुशल योजना बना सकता है
  3. DataFrames कभी memory उपयोग नहीं करते
  4. RDDs समानांतर नहीं चल सकते
जवाब देखें

जवाब: Catalyst optimizer DataFrame ऑपरेशनों की कुशल योजना बना सकता है

नामित columns और घोषणात्मक ऑपरेशन Spark को पूरी query अनुकूलित करने देते हैं।

पाठ: RDDs, DataFrames और Spark SQL

DataFrame API

5. `df.filter(...)` स्वयं `df` को क्यों नहीं बदलता?

  1. Filters अनदेखे होते हैं
  2. DataFrames immutable हैं; हर ऑपरेशन नया DataFrame लौटाता है
  3. यह डेटा हटाता है
  4. Spark filters मना करता है
जवाब देखें

जवाब: DataFrames immutable हैं; हर ऑपरेशन नया DataFrame लौटाता है

रूपांतरित DataFrame रखने के लिए नतीजे को variable में रखें।

पाठ: Selecting, Filtering और Columns

6. Group में null मानों के साथ `sum` क्या करता है?

  1. नतीजा दोगुना करता है
  2. उन्हें 1 मानता है
  3. हमेशा विफल होता है
  4. उन्हें अनदेखा करता है (और सभी मान null हों तभी NULL लौटाता है)
जवाब देखें

जवाब: उन्हें अनदेखा करता है (और सभी मान null हों तभी NULL लौटाता है)

Aggregate functions nulls छोड़ देते हैं, जो ग़ायब डेटा छिपा सकता है, इसलिए null गिनती जाँचें।

पाठ: Aggregations और Null सँभालना

7. कौन-सा join बाएँ DataFrame की हर row रखता है, मेल न होने पर nulls के साथ?

  1. left outer join
  2. inner join
  3. left anti join
  4. बिना keys का cross join
जवाब देखें

जवाब: left outer join

Left outer join बेमेल बाईं rows को सुरक्षित रखता है और दाईं ओर के columns null से भरता है।

पाठ: Joins

8. groupBy और window function में मुख्य अंतर क्या है?

  1. कोई अंतर नहीं
  2. groupBy हर row रखता है, windows उन्हें सिकोड़ती हैं
  3. Window function हर input row रखता है
  4. Windows सिर्फ़ strings पर चलती हैं
जवाब देखें

जवाब: Window function हर input row रखता है

groupBy हर समूह को एक row में सिकोड़ता है; window functions सभी rows में गणना किया column जोड़ती हैं।

पाठ: Window Functions

Spark SQL और Files

9. `spark.sql("SELECT ...")` क्या लौटाता है?

  1. एक pandas फ़ाइल
  2. एक string
  3. एक DataFrame
  4. कुछ नहीं
जवाब देखें

जवाब: एक DataFrame

SQL के नतीजे DataFrames हैं और आगे transformations में जा सकते हैं।

पाठ: Spark SQL और Temporary Views

10. Analytics के लिए Parquet आम तौर पर CSV से बेहतर क्यों है?

  1. यह columnar, संपीड़ित है और schema रखता है, इसलिए Spark कम डेटा पढ़ता है
  2. इसे text editor में खोला जा सकता है
  3. इसमें types नहीं होते
  4. इसे पढ़ना धीमा है
जवाब देखें

जवाब: यह columnar, संपीड़ित है और schema रखता है, इसलिए Spark कम डेटा पढ़ता है

Columnar ढाँचा column pruning और predicate pushdown की अनुमति देता है।

पाठ: File Formats: CSV, JSON, Parquet

11. Event डेटा के लिए अच्छा partition column कौन-सा है?

  1. मिलीसेकंड तक पूरा timestamp
  2. लाखों मानों वाला user_id
  3. एक random UUID
  4. event_date
जवाब देखें

जवाब: event_date

कम cardinality और अक्सर filter होने वाला column छोटी files की बाढ़ के बिना उपयोगी pruning देता है।

पाठ: Partitioned Output और Partition Pruning

Spark आपका कोड कैसे चलाता है

12. इनमें से कौन-सा action है?

  1. filter()
  2. count()
  3. select()
  4. withColumn()
जवाब देखें

जवाब: count()

count() निष्पादन कराता है; बाक़ी सिर्फ़ योजना बढ़ाते हैं।

पाठ: Transformations, Actions और Lazy Evaluation

13. कौन-सा ऑपरेशन आम तौर पर shuffle कराता है?

  1. दो columns का select
  2. groupBy aggregation
  3. किसी column पर filter
  4. स्थिरांक के साथ withColumn
जवाब देखें

जवाब: groupBy aggregation

Grouping को किसी key की सारी rows साथ चाहिए, इसलिए डेटा partitions के बीच जाना ज़रूरी है।

पाठ: Narrow और Wide Transformations: Shuffle

14. कौन-सा plan operator shuffle दर्शाता है?

  1. Scan
  2. Filter
  3. Project
  4. Exchange
जवाब देखें

जवाब: Exchange

Exchange वह जगह है जहाँ डेटा partitions या मशीनों में पुनर्वितरित होता है।

पाठ: explain() से Plans पढ़ना और Adaptive Query Execution

15. कौन-सी call पूरा shuffle किए बिना partitions घटाती है?

  1. coalesce(n)
  2. repartition(n)
  3. groupBy()
  4. distinct()
जवाब देखें

जवाब: coalesce(n)

coalesce पड़ोसी partitions को स्थानीय रूप से मिलाता है, जबकि repartition सारा डेटा फिर shuffle करता है।

पाठ: Partitions: repartition, coalesce और Skew

Performance ट्यूनिंग

16. Caching कब सार्थक है?

  1. जब DataFrame एक बार उपयोग हो
  2. हर DataFrame के लिए हमेशा
  3. जब एक महँगा DataFrame कई बार उपयोग हो
  4. कभी नहीं
जवाब देखें

जवाब: जब एक महँगा DataFrame कई बार उपयोग हो

Caching दोबारा गणना से बचाती है, जो तभी मदद करती है जब डेटा दोबारा उपयोग हो।

पाठ: Caching और Persistence

17. Broadcast join का मुख्य लाभ क्या है?

  1. यह किसी भी table आकार के लिए चलता है
  2. यह दोनों tables sort करता है
  3. बड़ी table को shuffle नहीं करना पड़ता
  4. यह दोहराव हटाता है
जवाब देखें

जवाब: बड़ी table को shuffle नहीं करना पड़ता

छोटी table को हर जगह भेजना महँगे shuffle की जगह सस्ता स्थानीय lookup रखता है।

पाठ: Join रणनीतियाँ और Broadcast Joins

18. हज़ारों छोटी files से क्यों बचें?

  1. हर file open और task का बोझ जोड़ती है, जो reads धीमे करता है
  2. छोटी files अवैध हैं
  3. वे बहुत कम disk लेती हैं
  4. Spark उन्हें बिल्कुल नहीं पढ़ सकता
जवाब देखें

जवाब: हर file open और task का बोझ जोड़ती है, जो reads धीमे करता है

फ़ाइलें छोटी हों तो प्रति-file बोझ हावी होता है, इसलिए उन्हें बड़ी files में compact करें।

पाठ: Data Layout, छोटी Files और Configuration

Structured Streaming

19. Checkpoint स्थान क्या रखता है?

  1. सिर्फ़ अंतिम output files
  2. आपके passwords
  3. Spark binaries
  4. Query की प्रगति और state ताकि restart आगे बढ़ सके
जवाब देखें

जवाब: Query की प्रगति और state ताकि restart आगे बढ़ सके

Checkpoint के offsets और state दोबारा शुरू हुई query को वहीं से जारी रखने देते हैं जहाँ वह रुकी थी।

पाठ: Structured Streaming मॉडल

20. Watermark Spark को क्या करने देता है?

  1. Events को तेज़ पहुँचाना
  2. सीमित देरी सहते हुए पुराना window state हटाना और memory सीमित रखना
  3. Stream encrypt करना
  4. Windows बंद करना
जवाब देखें

जवाब: सीमित देरी सहते हुए पुराना window state हटाना और memory सीमित रखना

यह तय करता है कि डेटा कितना देर से आ सकता है, ताकि पुराना state साफ़ हो सके।

पाठ: Event-Time Windows और Watermarks

Production Spark

21. डेटा को cluster पर नहीं, object storage में क्यों रखें?

  1. Object storage हमेशा disks से तेज़ है
  2. ताकि clusters अस्थायी हो सकें और storage से स्वतंत्र रूप से scale हो सकें
  3. Spark स्थानीय files नहीं पढ़ सकता
  4. यह backups की ज़रूरत हटाता है
जवाब देखें

जवाब: ताकि clusters अस्थायी हो सकें और storage से स्वतंत्र रूप से scale हो सकें

Compute को storage से अलग करने पर डेटा हिलाए बिना clusters शुरू, आकार बदलना और बंद करना संभव है।

पाठ: Cluster Managers और Platforms

22. Transformations को DataFrames के functions के रूप में क्यों लिखें?

  1. यह tests की ज़रूरत हटाता है
  2. Spark बाक़ी सब मना करता है
  3. Functions परिभाषा से तेज़ चलते हैं
  4. उन्हें छोटे स्थानीय डेटा से unit-test करना आसान है
जवाब देखें

जवाब: उन्हें छोटे स्थानीय डेटा से unit-test करना आसान है

शुद्ध functions तर्क को I/O से अलग करते हैं, इसलिए tests को cluster नहीं चाहिए।

पाठ: Spark Jobs का Testing

23. Spark UI में एक stage का एक task बाक़ी से कहीं ज़्यादा देर चलता है। यह क्या सुझाता है?

  1. Data skew
  2. तेज़ network
  3. Job पूरा हो गया
  4. बहुत कम tasks हैं
जवाब देखें

जवाब: Data skew

पिछड़ता task आम तौर पर ऐसी गर्म key रखता है जिसका डेटा बाक़ियों से कहीं ज़्यादा है।

पाठ: Spark UI से Monitoring और Lakehouse Tables

सब कुछ जोड़ना

24. इस डिज़ाइन में वही तारीख़ दोबारा चलाना क्या सुरक्षित बनाता है?

  1. Random file नाम उपयोग करना
  2. हर बार table में append करना
  3. सिर्फ़ उस तारीख़ का partition overwrite करने से हर बार वही नतीजा मिलता है
  4. डेटा-गुणवत्ता जाँचें छोड़ना
जवाब देखें

जवाब: सिर्फ़ उस तारीख़ का partition overwrite करने से हर बार वही नतीजा मिलता है

Idempotent, partition-सीमित writes retries और backfills को हानिरहित बनाते हैं।

पाठ: केस स्टडी: दैनिक Sales Pipeline

25. Job एक महँगे DataFrame पर बिना caching के `df.count()` दो बार बुलाता है। क्या होता है?

  1. Spark error देता है
  2. दूसरी call मुफ़्त है
  3. पूरी lineage दो बार गणना होती है
  4. नतीजा अपने आप cache हो जाता है
जवाब देखें

जवाब: पूरी lineage दो बार गणना होती है

हर action स्रोत से दोबारा गणना करता है जब तक DataFrame cache या persist न हो।

पाठ: Revision: Cheat Sheet और Self-Check

26. 2 TB की table और 5 MB की lookup table के बीच join धीमा है। सबसे अच्छा पहला विचार क्या है?

  1. 5 MB की table broadcast करें
  2. 2 TB की table driver पर collect करें
  3. सिर्फ़ और shuffle partitions जोड़ें
  4. दोनों को CSV में बदलें
जवाब देखें

जवाब: 5 MB की table broadcast करें

छोटी ओर को broadcast करने से विशाल table का shuffle बचता है।

पाठ: Revision: Cheat Sheet और Self-Check

27. coalesce और repartition के बारे में कौन-सा कथन सही है?

  1. repartition कभी डेटा नहीं हिलाता
  2. दोनों एक-जैसे हैं
  3. coalesce पूरे shuffle के साथ partitions बढ़ा सकता है
  4. coalesce बिना पूरे shuffle के सिर्फ़ partitions घटाता है; repartition ठीक संख्या के लिए shuffle करता है
जवाब देखें

जवाब: coalesce बिना पूरे shuffle के सिर्फ़ partitions घटाता है; repartition ठीक संख्या के लिए shuffle करता है

coalesce घटाने के लिए सस्ता मिलान है; repartition सारा डेटा समान रूप से पुनर्वितरित करता है।

पाठ: Revision: Cheat Sheet और Self-Check

← कोर्स पर वापस जाएँ