LLM Engineering की बुनियाद
LLM demos को भरोसेमंद उत्पादों में बदलें: मूल्यांकन और सांख्यिकी, prompt व मॉडल versioning, संरचित आउटपुट, लागत व latency engineering, भरोसेमंदी और observability, serving, शासन और टीम अभ्यास, हर प्रयोग चलाया हुआ।
पाठ्यक्रम
Demo से उत्पाद तक
- LLM Engineering क्या है
- LLM सुविधा की संदर्भ Architecture
- सफलता परिभाषित करना: आवश्यकताएँ और Metrics
- Prototype से Production तक: चरणबद्ध रास्ता
भरोसेमंद मूल्यांकन
- मूल्यांकन Harness
- शोर और Confidence Intervals
- दो संस्करणों की निष्पक्ष तुलना
- LLM-as-Judge: उपयोगी, पक्षपाती, calibration ज़रूरी
- Test-Set स्वच्छता: Leakage और Contamination
गुणवत्ता के लिए Engineering
- Prompts, मॉडल और Settings versioned artefacts के रूप में
- LLM बदलावों के लिए Release Gates और CI
- संरचित Output, Validation और Repair Loops
- Prompting, RAG या Fine-Tuning: निर्णय प्रक्रिया
Latency, लागत और क्षमता
- Caching: सटीक, Normalised और Semantic
- Model Routing और Cascades
- Tail Latency, Timeouts और Hedged Requests
- Little's Law से क्षमता योजना
- Unit Economics: प्रति हल कार्य लागत
भरोसेमंदी और Observability
Serving, Deployment और Release
- Hosted APIs बनाम Self-Hosting
- Serving throughput को क्या सीमित करता है
- चरणबद्ध Rollouts, Shadow Mode और Rollback
सुरक्षा, शासन और टीम अभ्यास
- हर LLM सुविधा को चाहिए सुरक्षा की बुनियाद
- Privacy, अनुपालन और डेटा सँभाल
- दस्तावेज़, भूमिकाएँ और टीम अभ्यास