LLM Application Security
Language models पर बने applications को सुरक्षित करें: prompt injection, असुरक्षित आउटपुट सँभाल, अति-स्वायत्तता, डेटा लीक, RAG access control, supply chain, दुरुपयोग व लागत हमले, परीक्षण और घटना-प्रतिक्रिया, चलाए जा सकने वाले हमलों और बचावों के साथ।
पाठ्यक्रम
LLM Apps को अपनी सुरक्षा-सोच क्यों चाहिए
- LLM Applications में क्या अलग है
- Assets, हमलावर और भरोसे की सीमाएँ
- प्रभाव क्षेत्र: Compromised मॉडल क्या कर सकता है
- मुख्य जोखिम-परिवारों का नक़्शा
Prompt Injection और Jailbreaks
- प्रत्यक्ष और अप्रत्यक्ष Prompt Injection
- Keyword Filters काफ़ी क्यों नहीं हैं
- System Prompt लीक और Canary Tokens
- Injection के विरुद्ध गहराई में बचाव
असुरक्षित Output सँभाल
- नियम: मॉडल आउटपुट को user इनपुट की तरह मानें
- मॉडल आउटपुट के रास्ते SQL Injection
- Cross-Site Scripting और Markdown/Link Exfiltration
- Command Injection और Path Traversal
- URLs fetch करने वाले Tools: SSRF और Allow-Lists
अति-स्वायत्तता और Tool सुरक्षा
- अति-व्यापक Tools, Permissions और स्वायत्तता
- मॉडल के बाहर नीति Engine
- छेड़छाड़-रहित मानव अनुमोदन
- प्रति-User Authorisation और Audit Logging
डेटा की सुरक्षा: प्रकटन, RAG और Poisoning
- संवेदनशील जानकारी का प्रकटन और Redaction
- RAG Access Control और Vector Store सुरक्षा
- Data Poisoning और अविश्वसनीय ज्ञान स्रोत
Supply Chain, दुरुपयोग और लागत हमले
- मॉडल, Packages और Plugins dependencies के रूप में
- Plugins, MCP Servers और Agent Tool पर भरोसा
- असीमित खपत: Rate Limits और Denial of Wallet
परीक्षण, Monitoring और प्रतिक्रिया
- Red-Teaming और Security Regression Tests
- Monitoring, पहचान और Logging
- घटना-प्रतिक्रिया और सुरक्षित विकास आदतें