पाठ 26 / 27
आम Pitfalls
ग़लतियाँ करने से पहले उन्हें सीखें।
आठ ग़लतियाँ जो सप्ताह बर्बाद करती हैं
(1) अच्छा prompt आज़माए बिना fine-tuning। (2) तेज़ी से बदलते तथ्य जोड़ने को fine-tuning। (3) मूल्यांकन set नहीं, या प्रशिक्षण डेटा से दूषित। (4) शोर वाले, असंगत या बहुत छोटे datasets। (5) आलसी baseline से तुलना। (6) बहुत देर या आक्रामक tuning, जिससे overfitting और forgetting। (7) डेटा पर सुरक्षा, गोपनीयता और licence जाँचों की अनदेखी। (8) परिणाम को पूर्ण मानना: कोई versioning, monitoring या बेस-मॉडल सेवानिवृत्ति की योजना नहीं। हर एक की सस्ती निवारक आदत है, जो सब इस कोर्स में पहले आ चुकी हैं।
आम ग़लतियों से बचें, फिर निर्णय लें
अधिकांश असफल fine-tuning परियोजनाएँ वही कुछ ग़लतियाँ दोहराती हैं।
Pitfall से समाधान
हर ग़लती को उसकी आदत से जोड़ें।
no good prompt first -> climb the ladder, build the eval set first
facts that change -> retrieval, not weights
contaminated test set -> group split, freeze the test set
noisy data -> read 50 rows, write rules, measure agreement
lazy baseline -> best prompt + caching + retrieval comparison
overfitting / forgetting -> few epochs, low rate, LoRA, replay, regression suite
data risk -> scan, licence, provider terms, safety re-test
no lifecycle -> model card, monitoring, scheduled re-evaluationग़लतियों की लॉग रखें
हर विफल run और उसका कारण साझा लॉग में जोड़ें; वही कारण टीमों में दोहराते हैं।
त्वरित जाँच: कौन-सी आम fine-tuning ग़लती है?
- मज़बूत prompted baseline और मूल्यांकन set छोड़ देना
- डेटा की नमूना rows पढ़ना
- मॉडल versions सहेजना
- rollback की योजना बनाना
Answer
मज़बूत prompted baseline और मूल्यांकन set छोड़ देना — निष्पक्ष baseline के विरुद्ध प्रमाण ही मूल अनुशासन है।