Few-Shot Prompting: In-Context Learning

बिना weight बदले मॉडल ढलता है

बड़े मॉडल prompt के कुछ उदाहरणों से पैटर्न पकड़ सकते हैं (in-context learning)। कुछ प्रशिक्षित नहीं होता: उदाहरण इनपुट का हिस्सा हैं, इसलिए हर call पर भेजे और चुकाए जाते हैं और context window लेते हैं। यह सबसे अच्छी पहली चाल है: तुरंत, कम उदाहरण, बदलना आसान। सीमाएँ: अधिक उदाहरण अधिक tokens, परिणाम उदाहरणों और क्रम पर निर्भर, और लाभ चपटे हो जाते हैं। विविध, प्रतिनिधि, सही उदाहरण चुनें, कठिन मामले जोड़ें, और चुनाव मूल्यांकन set पर परखें।

Prompt में उदाहरण बनाम weights में उदाहरण

Few-shot prompting मुट्ठी भर उदाहरणों से तुरंत सीखती है पर plateau पर पहुँचती है; प्रशिक्षण कहीं अधिक उपयोग कर सकता है।

Few-shot prompt (उदाहरण)

तीन उदाहरण labels और format सिखाते हैं। यहाँ चलाया नहीं गया।

Classify each support ticket as billing, technical or other. Reply with the label only.

Ticket: "I was charged twice this month."       Label: billing
Ticket: "The app crashes when I open settings."   Label: technical
Ticket: "Do you have an office in Pune?"           Label: other

Ticket: "My invoice shows the wrong amount."      Label:

उदाहरणों का क्रम परखें

उदाहरणों का क्रम बदलकर scores तुलना करें; बड़ा अंतर बताता है कि prompt नाज़ुक है और बेहतर उदाहरण चाहिए।

त्वरित जाँच: In-context learning का क्या अर्थ है?

• मॉडल रात भर दोबारा प्रशिक्षित होता है
• मॉडल prompt के उदाहरणों से पैटर्न के अनुसार ढलता है, कोई weights नहीं बदलते
• मॉडल live इंटरनेट पढ़ता है
• मॉडल अपना प्रशिक्षण भूल जाता है