Abliterated Models कैसे चलाएं: स्थानीय, क्लाउड या API

पहले एक मार्ग चुनें

	स्थानीय	किराये पर ली गई क्लाउड GPU	होस्टेड API
अग्रिम लागत	वह हार्डवेयर जो आपके पास पहले से हो सकता है	कोई नहीं	कोई नहीं
सेटअप समय	एक शाम	एक शाम, प्लस रिमोट सर्वर प्रबंधन	मिनट
निरंतर लागत	बिजली	मशीन चलते समय प्रति घंटा	प्रति टोकन
आवश्यक कौशल	मध्यम	मध्यम से उच्च	कम
गोपनीयता	सबसे उच्च	होस्ट पर निर्भर करता है	सर्वर-साइड; प्रॉम्प्ट प्रशिक्षण के लिए उपयोग नहीं किए जाते

यदि आपको केवल उन मॉडल से उत्तर चाहिए जो कानूनी वयस्क अनुरोधों को अस्वीकार नहीं करते हैं, तो API सबसे छोटा मार्ग है। यदि आप वेट्स के साथ प्रयोग करना चाहते हैं, मॉडल को मर्ज करना चाहते हैं या ऑफलाइन चलाना चाहते हैं, तो लोकल जाएं। क्लाउड GPU विकल्प उन लोगों के लिए उपयुक्त है जिन्हें कुछ घंटों के लिए एक बड़े मॉडल की आवश्यकता होती है और वे हार्डवेयर खरीदना नहीं चाहते।

मार्ग 1: इसे लोकल पर चलाएं

आपको उस फॉर्मेट में वेट्स की आवश्यकता होती है जिसे आपका रनटाइम लोड करता है, और पर्याप्त मेमोरी। सबसे सामान्य सेटअप GGUF फ़ाइल है llama.cpp या इसके ऊपर बने किसी टूल के साथ, जैसे कि Ollama या LM Studio।

1. मेमोरी का अनुमान लगाएं। वेट्स लगभग पैरामीटर x बिट प्रति वेट / 8 लेते हैं। 4-बिट पर 14B मॉडल लगभग 7 GB का होता है। कॉन्टेक्स्ट कैश के लिए कुछ गीगाबाइट्स जोड़ें।
2. एक क्वांटाइज्ड फ़ाइल डाउनलोड करें एक विश्वसनीय स्रोत से। एक एबलिरेटेड मॉडल क्या है पेज बताता है कि इन फ़ाइल्स में क्या होता है।
3. एक सर्वर शुरू करें। llama.cpp के साथ कमांड नीचे दी गई तरह दिखती है।
4. अपने ऐप को उसकी ओर इशारा करें। सर्वर एक OpenAI-शैली एंडपॉइंट प्रदान करता है, इसलिए कोई भी संगत क्लाइंट कनेक्ट हो सकता है।

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

यहाँ -c कॉन्टेक्स्ट लंबाई सेट करता है और -ngl 99 सभी लेयर्स को GPU पर ऑफलोड करता है यदि वे फिट बैठते हैं। यदि मेमोरी खत्म हो जाए तो -ngl कम करें, और अपेक्षा करें कि लेयर्स CPU पर रहने पर आउटपुट धीमा होगा।

सामान्य लोकल समस्याएं आसानी से पहचानी जा सकती हैं। यदि लोडिंग मेमोरी की कमी के संदेश के साथ विफल हो जाती है, तो एक छोटी क्वांटाइजेशन चुनें या कॉन्टेक्स्ट लंबाई कम करें, क्योंकि कैश इसके साथ स्केल करता है। यदि आउटपुट दर्दनाक रूप से धीमा है, तो कुछ लेयर्स CPU पर चल रहे हैं, इसलिए जांचें कि कितने ऑफलोड किए गए हैं। यदि जवाब दोहराव में बदल जाते हैं, तो तापमान को थोड़ा कम करें और दोहराव पेनल्टी बढ़ाएं। और यदि मॉडल एक अजीब फॉर्मेट में जवाब देता है, तो चैट टेम्पलेट मॉडल द्वारा अपेक्षित टेम्पलेट से मेल नहीं खा रहा हो सकता है; अधिकांश रनटाइम आपको इसे स्पष्ट रूप से सेट करने की अनुमति देते हैं।

लोकल तब सबसे अच्छा है जब गोपनीयता और ऑफलाइन उपयोग मायने रखते हैं, या जब आपके पास पहले से ही 16 GB या अधिक मेमोरी वाली कार्ड है।

मार्ग 2: क्लाउड में GPU किराए पर लें

किराये की सेवाएं आपको एक बड़ी GPU वाली मशीन शुरू करने देती हैं और आप घंटे के हिसाब से भुगतान करते हैं। कदम स्थानीय मार्ग से मेल खाते हैं, लेकिन आप उन्हें एक दूरस्थ मशीन पर SSH के माध्यम से करते हैं, और आपको उपयोग करते समय मशीन को चालू रखना होता है। यह आखिरी बात महत्वपूर्ण है: आप इसे निष्क्रिय रखते समय भुगतान करते हैं, इसलिए जब आप समाप्त कर दें तो इसे बंद कर दें।

एक सामान्य किराया सत्र इस प्रकार होता है। आप एक ऐसी मशीन चुनते हैं जिसमें आपके मॉडल के लिए पर्याप्त GPU मेमोरी हो, एक प्रीबिल्ट इमेज से शुरू करें जिसमें पहले से ड्राइवर इंस्टॉल हों, वेट्स कॉपी या डाउनलोड करें, सर्वर लॉन्च करें, और एक SSH टनल के माध्यम से कनेक्ट करें ताकि पोर्ट कभी सार्वजनिक न हो। एक बड़ी फ़ाइल के लिए केवल डाउनलोड के लिए बीस से तीस मिनट की योजना बनाएं, और बिलिंग आमतौर पर उस समय चलती है। एक बार स्क्रिप्ट में चरण लिखें, ताकि अगला सत्र तेजी से शुरू हो।

प्रदाता की साइट पर वर्तमान प्रति घंटा कीमतें जांचें, क्योंकि वे अक्सर बदलती हैं। एक बार के काम के लिए किराया समझ में आता है, जैसे कि दस्तावेज़ों के बैच के माध्यम से एक बड़े मॉडल को चलाना। यह कम समझ में आता है एक चैट के लिए जिसे आप दिन में कुछ बार खोलते हैं, क्योंकि मीटर सत्रों के बीच चलता रहता है, और वेट्स के लिए एक स्थिर स्टोरेज वॉल्यूम अक्सर अलग से बिल किया जाता है।

सुरक्षा आपकी जिम्मेदारी है। प्रमाणीकरण के बिना मॉडल सर्वर को ओपन इंटरनेट पर एक्सपोज़ न करें, क्योंकि जो भी व्यक्ति पोर्ट खोज लेता है, वह आपका GPU समय उपयोग कर सकता है।

मार्ग 3: एक होस्टेड API को कॉल करें

यह सेवा आपको एक ओपन-वेट मॉडल देती है, जिसे एक स्वतंत्र प्रदाता चलाता है और कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृतियों के उत्तर देने के लिए ट्यून्ड किया गया है। मॉडल ID uncensored है। यह किसी मॉडल विक्रेता की आधिकारिक API नहीं है और न ही कई मॉडल के बीच एक रूटर है। बेस URL https://api.abliteratedmodels.cc/v1 है।

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

curl के साथ वही अनुरोध:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

स्ट्रीमिंग, टूल कॉलिंग और JSON मोड OpenAI API की तरह काम करते हैं। विवरण दस्तावेज़ीकरण में हैं।

प्रत्येक मार्ग की लागत, API गणना के साथ

स्थानीय और किराये की लागतें उन कीमतों पर निर्भर करती हैं जिन्हें आपको स्वयं खोजना होगा। API लागत की गणना करना सरल है। दरें 1M इनपुट टोकन के लिए $0.15 प्रति और 1M आउटपुट टोकन के लिए $0.50 प्रति हैं।

8,000 टोकन के कॉन्टेक्स्ट और 600-टोकन के उत्तर के साथ एक कोडिंग-सहायक अनुरोध इनपुट के लिए 8,000 / 1,000,000 x $0.15 = $0.0012, आउटपुट के लिए 600 / 1,000,000 x $0.50 = $0.0003 खर्च करता है। यह प्रति अनुरोध $0.0015 है। 30 दिनों के लिए प्रतिदिन एक सौ ऐसे अनुरोध 3,000 अनुरोध हैं, या महीने में $4.50।

न्यूनतम टॉप-अप $20 है, जो उस उपयोग के लिए चार महीने से अधिक कवर करेगा, और क्रेडिट कभी नहीं समाप्त होता। $50 से बोनस लागू होते हैं: +5%, फिर $100 से +10% और $200 से +15%। आप क्रिप्टो (TRC20 पर USDT, Base पर USDC) से भुगतान कर सकते हैं। तालिका के लिए मूल्य निर्धारण पृष्ठ देखें।

कोडिंग के लिए कौन से मॉडल अच्छे चलते हैं

यदि आपका लक्ष्य कोड है, तो मॉडल का आकार और प्रशिक्षण डेटा अलबिलरेशन चरण से अधिक मायने रखते हैं। बड़े मॉडल अधिक विश्वसनीय कोड लिखते हैं, और उन्हें स्थानीय रूप से अधिक मेमोरी की आवश्यकता होती है। कोडिंग के लिए सर्वश्रेष्ठ अलबिलरेटेड मॉडल पर तुलना बताती है कि किस पर ध्यान देना है। जब आप उम्मीदवारों का परीक्षण करते हैं, तो अपने वास्तविक काम से प्रत्येक को पांच या छह समान कार्य दें: एक बग फिक्स, एक छोटा फ़ंक्शन, एक रिफैक्टर, एक अज्ञात कोड की व्याख्या। परिणामों की तुलना करें, मार्केटिंग की नहीं।

होस्टेड विकल्प एक आधार रेखा के रूप में उपयोगी है। पहले API के सापेक्ष अपने कार्य सेट चलाएं, फिर देखें कि क्या कोई स्थानीय मॉडल जिसे आप वहन कर सकते हैं, उससे मेल खाता है।

सबसे सस्ते परीक्षण से शुरू करें

हार्डवेयर खरीदने या मशीन किराए पर लेने से पहले, API पर कुछ मिनट बिताएं। Google के साथ, या ईमेल और पासवर्ड के साथ साइन अप करें, फिर API कुंजी पृष्ठ पर ट्रायल दावें करें। यह $0.50 है, 7 दिनों के लिए मान्य, प्रति व्यक्ति एक, और कार्ड की आवश्यकता नहीं है। प्रति अनुरोध $0.0015 की दर से, यह 300 से अधिक अनुरोध हैं।

ट्रायल कुंजियाँ 2 समानांतर अनुरोध और प्रति मिनट 60 की अनुमति देती हैं। पूर्ण कुंजियाँ 8 और 300 की अनुमति देती हैं। यदि आप सीमा से अधिक हो जाते हैं, तो आपको HTTP 429 मिलता है rate_limited या concurrency के साथ, और अस्थायी ओवरलोड के दौरान 429 Retry-After: 5 के साथ। बिना अस्वीकृति वाले मॉडल के बारे में व्यापक दृष्टिकोण के लिए, अनफ़िल्टर्ड AI मॉडल पृष्ठ पढ़ें।

API केवल पाठ है और एक कठोर नियम है: नाबालिगों से संबंधित यौन सामग्री नहीं।

अधिक गाइड

• Abliterated Models डाउनलोड: सुरक्षित स्रोत और जाँच
• कोडिंग के लिए सर्वश्रेष्ठ Abliterated Models: क्या खोजना है