निर्णय सीढ़ी: पहले सबसे सस्ता प्रभावी क़दम

एक बार में एक पायदान, संख्याओं के साथ

समझदार क्रम: (1) सफलता परिभाषित करें और छोटा मूल्यांकन set बनाएँ; (2) prompt सुधारें और उदाहरण जोड़ें; (3) मज़बूत मॉडल आज़माएँ; (4) तथ्य कमी हों तो retrieval जोड़ें; (5) तभी fine-tuning पर विचार करें, आदर्श रूप से छोटे मॉडल पर, पर्याप्त उच्च-गुणवत्ता उदाहरणों के साथ। हर पायदान अधिक प्रयास और रखरखाव माँगता है, इसलिए तभी ऊपर जाएँ जब मूल्यांकन दिखाए कि मौजूदा लक्ष्य चूकता है। सावधान prompting के बाद बची त्रुटियाँ अक्सर डेटा या विनिर्देश की समस्याएँ होती हैं जिन्हें fine-tuning ठीक नहीं करती।

सीढ़ी

नीचे जाते हुए लागत और रखरखाव बढ़ते हैं।

1. write an evaluation set + success metric       (hours)       free to change
2. improve prompt / examples / structure           (hours)       instant, reversible
3. try a stronger or different model                (hours)       per-token cost may rise
4. add retrieval (RAG)                              (days)        index to build and keep fresh
5. fine-tune (usually a smaller model)              (days-weeks)  data, training, evaluation, re-training

Stop at the first rung that meets the target.

मूल्यांकन set रखें

वही मूल्यांकन set जो बाद में fine-tuning को उचित ठहराता है उसके काम करने का प्रमाण भी देता है; इसे पहले पायदान पर बनाएँ।

त्वरित जाँच: Fine-tuning से पहले prompting क्यों आज़माएँ?

• यह तेज़, सस्ती और पलटने योग्य है, और अक्सर काफ़ी है
• Fine-tuning की अनुमति नहीं
• Prompts मॉडल प्रशिक्षित करते हैं
• प्रयास में कोई अंतर नहीं