AI Safety, Evaluation and Cost Control Interview Questions Hindi mein

AI Safety, Evaluation और Cost Control कोर्स के 27 सवाल, हर सवाल के सही जवाब और explanation के साथ। जवाब देखने से पहले ख़ुद सोचें।

Safety की बुनियाद

1. LLM application के व्यवहार की ज़िम्मेदारी किसकी है?

  1. सिर्फ़ model provider
  2. कोई नहीं
  3. Application बनाने और चलाने वाली टीम
  4. सिर्फ़ अंतिम user
जवाब देखें

जवाब: Application बनाने और चलाने वाली टीम

Providers safeguards जोड़ते हैं, पर context, डेटा, tools और deployment application के मालिक के नियंत्रण में हैं।

पाठ: Applications के लिए AI Safety का मतलब

2. Model आत्मविश्वास से ऐसी नीति बताता है जो है ही नहीं। यह कौन-सी विफलता है?

  1. Hallucination
  2. Rate limiting
  3. Caching
  4. Compression
जवाब देखें

जवाब: Hallucination

प्रवाहपूर्ण गढ़ा उत्तर hallucination की पुरानी परिभाषा है।

पाठ: आम विफलता के प्रकार

3. एक पर निर्भर रहने की जगह कई safeguards क्यों रखें?

  1. यह testing की ज़रूरत हटाता है
  2. एक safeguard अवैध है
  3. परतें model को तेज़ बनाती हैं
  4. हर एक में कमियाँ हैं, इसलिए परतें वह पकड़ती हैं जो बाक़ी चूकती हैं
जवाब देखें

जवाब: हर एक में कमियाँ हैं, इसलिए परतें वह पकड़ती हैं जो बाक़ी चूकती हैं

स्वतंत्र परतें इसकी संभावना घटाती हैं कि एक चूक नुक़सान बन जाए।

पाठ: डिज़ाइन से Safety: परतें

Input और Output Safeguards

4. Moderation threshold बढ़ाने पर recall का क्या होता है?

  1. वह हमेशा बढ़ता है
  2. वह आम तौर पर गिरता है, ज़्यादा हानिकारक items छूटते हैं
  3. वह अपरिभाषित हो जाता है
  4. वह ठीक वैसा ही रहता है
जवाब देखें

जवाब: वह आम तौर पर गिरता है, ज़्यादा हानिकारक items छूटते हैं

सख़्त cut-off कुल मिलाकर कम items रोकता है, इसलिए कुछ असली नुक़सान उसके नीचे निकल जाता है।

पाठ: Moderation और Thresholds

5. व्यक्तिगत डेटा छिपाने का सबसे अच्छा समय कब है?

  1. कभी नहीं
  2. Prompts, logs या analytics में जाने से पहले
  3. Breach के बाद
  4. सिर्फ़ UI में
जवाब देखें

जवाब: Prompts, logs या analytics में जाने से पहले

जो डेटा कच्चे रूप में आपकी सीमा से नहीं निकलता वह आगे के systems से leak नहीं हो सकता।

पाठ: व्यक्तिगत डेटा सँभालना

6. दस्तावेज़ Q&A bot में hallucination घटाने का अच्छा निर्देश कौन-सा है?

  1. अनिश्चित हो तो अनुमान लगाओ
  2. हमेशा आत्मविश्वासी लगो
  3. स्रोतों का कभी ज़िक्र न करो
  4. सिर्फ़ दिए text से उत्तर दो और वहाँ न हो तो कहो
जवाब देखें

जवाब: सिर्फ़ दिए text से उत्तर दो और वहाँ न हो तो कहो

उत्तर को दिए प्रमाण तक सीमित करना और "नहीं मिला" की अनुमति गढ़ने का दबाव हटाती है।

पाठ: Grounding और Hallucination नियंत्रण

7. Over-refusal क्या है?

  1. हानिरहित अनुरोध ठुकराना
  2. हानिकारक अनुरोध का उत्तर देना
  3. शुरू करने से मना करना
  4. Tokens ख़त्म होना
जवाब देखें

जवाब: हानिरहित अनुरोध ठुकराना

Over-refusal उत्पाद को कम उपयोगी बनाता है और under-refusal के साथ मापा जाता है।

पाठ: Refusal Calibration

दुरुपयोग

8. Prompt injection के विरुद्ध कौन-सा बचाव सबसे भरोसेमंद है?

  1. System prompt छिपाना
  2. सिर्फ़ prompt में "सावधान रहो" लिखना
  3. Model को कोई ख़तरनाक tools न देना और संवेदनशील कर्मों पर मंज़ूरी माँगना
  4. लंबे user संदेश उपयोग करना
जवाब देखें

जवाब: Model को कोई ख़तरनाक tools न देना और संवेदनशील कर्मों पर मंज़ूरी माँगना

क्षमता सीमाएँ तब भी रक्षा करती हैं जब model बहक जाए।

पाठ: Injection और Jailbreaks

9. Token bucket क्या अनुमति देता है?

  1. कभी सिर्फ़ एक अनुरोध
  2. असीमित अनुरोध
  3. स्थिर औसत दर के साथ छोटे उफान
  4. कोई अनुरोध नहीं
जवाब देखें

जवाब: स्थिर औसत दर के साथ छोटे उफान

क्षमता उफान की अनुमति देती है; भरने की दर लंबी अवधि का औसत बाँधती है।

पाठ: Rate Limiting और दुरुपयोग नियंत्रण

निष्पक्षता, Privacy और जवाबदेही

10. सिर्फ़ कुल की जगह slice के अनुसार accuracy क्यों बताएँ?

  1. कुल औसत किसी बुरी तरह प्रभावित समूह को छिपा सकता है
  2. Slices हमेशा ज़्यादा सटीक होते हैं
  3. कुल अंक अवैध हैं
  4. इससे compute बचता है
जवाब देखें

जवाब: कुल औसत किसी बुरी तरह प्रभावित समूह को छिपा सकता है

समूहों के बीच अंतर तभी दिखते हैं जब नतीजे तोड़कर देखे जाएँ।

पाठ: Slices से पक्षपात जाँचना

11. Data minimisation क्या है?

  1. कभी काम आए इसलिए सब इकट्ठा करना
  2. Files compress करना
  3. Model हटाना
  4. Model को सिर्फ़ वही डेटा भेजना जो काम को चाहिए
जवाब देखें

जवाब: Model को सिर्फ़ वही डेटा भेजना जो काम को चाहिए

कम इकट्ठा और साझा डेटा का मतलब है कम जो leak या दुरुपयोग हो सके।

पाठ: Privacy और Data Governance

12. ऋण मंज़ूरी जैसे उच्च-जोखिम निर्णय कौन ले?

  1. अकेला AI, हमेशा
  2. एक इंसान जो AI की समीक्षा और उसे पलट सके
  3. एक random number generator
  4. कोई नहीं
जवाब देखें

जवाब: एक इंसान जो AI की समीक्षा और उसे पलट सके

महत्वपूर्ण निर्णयों में जवाबदेह इंसानी निगरानी और कारणों का रिकॉर्ड चाहिए।

पाठ: दस्तावेज़ीकरण, पारदर्शिता और इंसानी निगरानी

मूल्यांकन

13. कुछ evaluation मामले ट्यूनिंग से अलग क्यों रखें?

  1. Disk जगह बचाने के लिए
  2. ताकि उन्हीं मामलों पर ट्यूनिंग से अंतिम score फूला हुआ न हो
  3. क्योंकि वे गुप्त हैं
  4. इससे tests धीमे होते हैं
जवाब देखें

जवाब: ताकि उन्हीं मामलों पर ट्यूनिंग से अंतिम score फूला हुआ न हो

Test मामलों पर ट्यूनिंग आशावादी score देती है जो production में नहीं टिकता।

पाठ: Evaluation Set बनाना

14. Recall क्या मापता है?

  1. कितने tokens उपयोग हुए
  2. चिह्नित items में से कितने सचमुच positive थे
  3. Model कितनी तेज़ी से उत्तर देता है
  4. सभी सचमुच positive items में से कितने पकड़े गए
जवाब देखें

जवाब: सभी सचमुच positive items में से कितने पकड़े गए

Recall है TP / (TP + FN): system द्वारा खोजे गए असली positives का हिस्सा।

पाठ: Metrics: Accuracy, Precision, Recall, F1

15. एक ही 90% score के लिए कौन-सा ज़्यादा कसा confidence interval देता है?

  1. 200 test मामले
  2. 20 test मामले
  3. दोनों एक-जैसे हैं
  4. किसी का interval नहीं
जवाब देखें

जवाब: 200 test मामले

ज़्यादा डेटा अनिश्चितता घटाता है और संभावित सीमा को संकरा करता है।

पाठ: आपका Score कितना पक्का है?

16. Cohen का kappa क्या मापता है?

  1. प्रति token लागत
  2. Model की गति
  3. दो raters के बीच वह सहमति जो संयोग से आगे हो
  4. Disk उपयोग
जवाब देखें

जवाब: दो raters के बीच वह सहमति जो संयोग से आगे हो

Kappa कच्ची सहमति को संयोग से अपेक्षित सहमति के लिए सुधारता है।

पाठ: LLM Judges और इंसानी सहमति

17. Regression-जाँच के scores गिरें तो बदलाव क्यों रोकें?

  1. गिरते scores हमेशा शोर होते हैं
  2. Scores कभी मायने नहीं रखते
  3. बदलाव ने system को उन तरीक़ों से बदतर किया हो सकता है जो आपने नहीं चाहे
  4. इससे deployment तेज़ होता है
जवाब देखें

जवाब: बदलाव ने system को उन तरीक़ों से बदतर किया हो सकता है जो आपने नहीं चाहे

स्वचालित जाँचें users से पहले चुपचाप गुणवत्ता गिरना पकड़ती हैं।

पाठ: A/B Tests और Regression जाँचें

Production में निगरानी

18. हर trace में prompt version क्यों दर्ज करें?

  1. व्यवहार में बदलाव को उस ठीक version से जोड़ने के लिए जिसने उसे किया
  2. क्योंकि logs लंबे होने चाहिए
  3. Prompt छिपाने के लिए
  4. यह अपने आप ख़र्च घटाता है
जवाब देखें

जवाब: व्यवहार में बदलाव को उस ठीक version से जोड़ने के लिए जिसने उसे किया

Version लेबल regressions को किसी ख़ास बदलाव तक खोजने योग्य बनाते हैं।

पाठ: क्या log करें और देखें

19. औसत के साथ p95 latency क्यों ट्रैक करें?

  1. यह बिल घटाता है
  2. p95 हमेशा mean से छोटा होता है
  3. औसत अवैध हैं
  4. धीमी पूँछ असली users को प्रभावित करती है पर औसत को मुश्किल से हिलाती है
जवाब देखें

जवाब: धीमी पूँछ असली users को प्रभावित करती है पर औसत को मुश्किल से हिलाती है

Percentiles वे सबसे बुरे अनुभव दिखाते हैं जिन्हें औसत सपाट कर देता है।

पाठ: Latency Percentiles और Alerts

Cost Control

20. Chat उत्पाद में LLM ख़र्च को आम तौर पर सबसे ज़्यादा क्या बढ़ाता है?

  1. UI का रंग
  2. कई अनुरोधों में दोहराए गए बड़े inputs
  3. Font का आकार
  4. Buttons की संख्या
जवाब देखें

जवाब: कई अनुरोधों में दोहराए गए बड़े inputs

लंबी prompts और इतिहास की क़ीमत हर call पर फिर चुकानी पड़ती है।

पाठ: Token Economics

21. अनुरोधों को सस्ते model पर भेजने का मुख्य जोखिम क्या है?

  1. बिल हमेशा बढ़ता है
  2. जिन अनुरोधों को router ने ग़लती से आसान माना उन पर गुणवत्ता गिर सकती है
  3. छोटे models text नहीं पढ़ सकते
  4. Routing अवैध है
जवाब देखें

जवाब: जिन अनुरोधों को router ने ग़लती से आसान माना उन पर गुणवत्ता गिर सकती है

बचत router के सही होने पर निर्भर है, इसलिए सस्ते रास्ते पर गुणवत्ता मापनी होगी।

पाठ: Model Routing और Cascades

22. Prompt caching ठीक चलने के लिए बदलता user सवाल कहाँ रखें?

  1. कहीं नहीं
  2. बिल्कुल शुरू में
  3. API key के भीतर
  4. अंत में, स्थिर prefix के बाद
जवाब देखें

जवाब: अंत में, स्थिर prefix के बाद

सिर्फ़ एक-सा prefix ही दोबारा उपयोग हो सकता है, इसलिए बदलती सामग्री उसके बाद आती है।

पाठ: Caching, Batching और Trimming

23. Development और production के लिए अलग API keys क्यों उपयोग करें?

  1. ताकि test script production budget ख़त्म न कर सके, और ख़र्च का श्रेय तय हो सके
  2. Keys क़ानूनन अनोखी होनी चाहिए
  3. यह model को तेज़ बनाता है
  4. यह budgets की ज़रूरत हटाता है
जवाब देखें

जवाब: ताकि test script production budget ख़त्म न कर सके, और ख़र्च का श्रेय तय हो सके

अलग keys environments को अलग करती हैं और लागत को खोजने योग्य बनाती हैं।

पाठ: AI के लिए Budgets, Quotas और FinOps

सब कुछ जोड़ना

24. पहले users के छोटे हिस्से को जारी क्यों करें?

  1. क्योंकि छोटे launch मुफ़्त हैं
  2. प्रतिक्रिया इकट्ठा करने से बचने के लिए
  3. उन समस्याओं का असर सीमित करने के लिए जो आपके tests चूक गए
  4. Evaluation छोड़ने के लिए
जवाब देखें

जवाब: उन समस्याओं का असर सीमित करने के लिए जो आपके tests चूक गए

चरणबद्ध rollouts असली दुनिया की समस्याएँ तब पकड़ते हैं जब कम लोग प्रभावित हों।

पाठ: केस स्टडी: Support Assistant का Launch

25. हानिकारक-सामग्री filter 99% सटीक है क्योंकि सिर्फ़ 1% संदेश हानिकारक हैं और वह कुछ भी चिह्नित नहीं करता। समस्या क्या है?

  1. वह बहुत तेज़ है
  2. उसका precision बहुत ऊँचा है
  3. दुर्लभ हानिकारक वर्ग के लिए उसका recall शून्य है
  4. कुछ ग़लत नहीं
जवाब देखें

जवाब: दुर्लभ हानिकारक वर्ग के लिए उसका recall शून्य है

Accuracy दुर्लभ वर्ग की विफलता छिपाती है; recall उसे उजागर करता है।

पाठ: Revision: Cheat Sheet और Self-Check

26. दो versions 25 test मामलों पर 90% और 88% स्कोर करते हैं। आपको क्या निष्कर्ष निकालना चाहिए?

  1. अंतर का कोई असली प्रमाण नहीं; और मामले इकट्ठे करें
  2. Version A साफ़ तौर पर बेहतर है
  3. Version B साफ़ तौर पर बेहतर है
  4. Scores की तुलना नहीं हो सकती
जवाब देखें

जवाब: अंतर का कोई असली प्रमाण नहीं; और मामले इकट्ठे करें

इतने कम मामलों में confidence intervals काफ़ी ओवरलैप करते हैं, इसलिए अंतर शोर के भीतर है।

पाठ: Revision: Cheat Sheet और Self-Check

27. कौन-सा बदलाव सावधानी से करने पर गुणवत्ता घटाए बिना LLM ख़र्च घटाता है?

  1. Monitoring बंद करना
  2. Evaluation set हटाना
  3. Context लंबाई दोगुनी करना
  4. गुणवत्ता परखने के बाद आसान अनुरोध छोटे model को भेजना
जवाब देखें

जवाब: गुणवत्ता परखने के बाद आसान अनुरोध छोटे model को भेजना

Routing, caching और trimming ख़र्च घटाते हैं, और आपका evaluation set पुष्टि करता है कि गुणवत्ता बनी रही।

पाठ: Revision: Cheat Sheet और Self-Check

← कोर्स पर वापस जाएँ