Abliterated Models डाउनलोड: सुरक्षित स्रोत और जाँच

जहाँ लोग आमतौर पर डाउनलोड करते हैं

अधिकांश अबलिटरेटेड वेट्स Hugging Face पर प्रकाशित किए जाते हैं, जो ओपन-वेट मॉडल के लिए मुख्य सार्वजनिक हब है, या तो फुल-प्रिसिजन चेकपॉइंट के रूप में या llama.cpp, Ollama और LM Studio के लिए क्वांटीज़्ड GGUF फ़ाइलों के रूप में। कुछ अपलोडर टॉरेंट या फ़ाइल होस्ट पर भी फ़ाइलें साझा करते हैं। उन पर अधिक सावधानी से काम करें, क्योंकि आपको मॉडल पेज, वर्जन इतिहास और समुदाय की टिप्पणियाँ खो जाती हैं जो रिलीज़ का आकलन करने में मदद करती हैं।

एक रिपॉजिटरी जिसका लंबा इतिहास हो, स्पष्ट मॉडल कार्ड हो, और चर्चा थ्रेड्स हों जहाँ अन्य लोग बताते हैं कि यह कैसे व्यवहार करता है, एक नए खाते से बेहतर संकेत है जिसके पास एक ही अपलोड और कोई विवरण न हो। हमारे एक अबलिटरेटेड मॉडल क्या है पर व्याख्या में तकनीक के बारे में अधिक पढ़ें।

फ़ाइल प्रारूप निर्धारित करता है कि आप कितना जोखिम ले रहे हैं

प्रारूप उससे अधिक मायने रखता है जितना लोग उम्मीद करते हैं।

• safetensors. सादे टेंसर स्टोर करता है और लोड होने पर कोड नहीं चला सकता। यह फुल-प्रिसिजन वेट्स के लिए सुरक्षित विकल्प है।
• GGUF. llama.cpp और इसके ऊपर बने टूल्स द्वारा उपयोग किए जाने वाले क्वांटीज़्ड वेट्स के लिए एक फ़ॉर्मेट। यह भी डेटा है, एक्जीक्यूटेबल कोड नहीं, और यह स्थानीय चैट के लिए सामान्य विकल्प है।
• पिकल-आधारित फ़ाइलें (.bin, .pt, .ckpt). सामान्य पायथन टूल्स के साथ इनकी लोडिंग फ़ाइल में एम्बेडेड मनमाने कोड को एक्जीक्यूट कर सकती है। अज्ञात स्रोतों से उन्हें टालें, या केवल सैंडबॉक्स में लोड करें।

यदि एक रिपॉजिटरी केवल pickle फ़ाइलें प्रदान करती है और आप safetensors या GGUF संस्करण नहीं ढूंढ पाते हैं, तो यह कहीं और देखने का कारण है। साथ ही, उन रिपॉजिटरी के साथ सावधान रहें जो वेट्स के साथ एक कस्टम Python लोडर स्क्रिप्ट भेजती हैं। इसे चलाने से पहले उस स्क्रिप्ट को पढ़ें, या उसे न चलाएं।

डाउनलोड करने से पहले एक चेकलिस्ट

1. मॉडल कार्ड पढ़ें। इसमें बेस मॉडल का नाम, रिफ्यूज़ल हटाने के लिए उपयोग की गई विधि और क्वांटीज़ेशन स्तर का उल्लेख होना चाहिए। कोई कुछ न कहने वाला कार्ड चेतावनी का संकेत है।
2. लाइसेंस जांचें। एबलिटरेटेड प्रतिलिपि आधार मॉडल की शर्तों को विरासत में पाती है। कुछ लाइसेंस व्यावसायिक उपयोग पर प्रतिबंध लगाते हैं या एट्रिब्यूशन की माँग करते हैं। यदि आप उत्पाद बनाने की योजना बना रहे हैं, तो पहले उन्हें पढ़ें।
3. बेस मॉडल के नाम की तुलना आधिकारिक रिलीज़ से करें। एक कॉपीकैट अपलोडर एक लोकप्रिय नाम किसी अलग फ़ाइल से जोड़ सकता है।
4. फ़ाइल सूची और आकार देखें। उन्हें पैरामीटर गिनती और क्वांटीज़ेशन से मेल खाना चाहिए। 7B Q4 फ़ाइल जो 400 MB है, या 70B फ़ाइल जो 4 GB है, वह गलत है।
5. प्रकाशित चेकसम खोजें और डाउनलोड के बाद उसे सत्यापित करें।
6. समुदाय टैब को जल्दी-जल्दी पढ़ें ताकि खराब आउटपुट, दोहराव या छिपे व्यवहार की रिपोर्टों के बारे में पता चल सके।

पहले डाउनलोड का आकार निकालें

अनुमानित फ़ाइल आकार है: पैरामीटर × प्रति वेट बिट्स ÷ 8। ये केवल वेट्स की गणना है, और वास्तविक फ़ाइलें थोड़ी बड़ी होती हैं।

पैरामीटर	16-बिट	8-बिट	4-बिट
7B	14 GB	7 GB	3.5 GB
13B	26 GB	13 GB	6.5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

आपको डाउनलोड के लिए और यदि आप स्वयं रूपांतरण या क्वांटीकृत करते हैं, तो अंतरिम फ़ाइलों के लिए मुफ़्त डिस्क स्पेस की आवश्यकता होती है। 70 GB के ट्रांसफर के आधे में ही स्पेस खत्म होना एक आम परेशानी है। फ़ाइल चलाने के लिए मेमोरी एक अलग सवाल है: वेट्स को GPU या यूनिफाइड मेमोरी में फिट होना चाहिए, और कॉन्टेक्स्ट कैश के लिए अतिरिक्त जगह की आवश्यकता होती है।

फ़ाइल आने के बाद उसकी जाँच करें

अपने खाली फोल्डर में डाउनलोड करें, अपने स्क्रिप्ट्स को कहीं और रखें, और फ़ाइल लोड करने से पहले हैश की जाँच करें।

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

यदि अपलोडर चेकसम प्रकाशित नहीं करता है, तो हैश केवल यह साबित करता है कि फ़ाइल ट्रांजिट के दौरान खराब नहीं हुई, न कि यह कि यह लेखक की इच्छा के अनुसार है। किसी भी चीज़ के लिए जिस पर आप निर्भर करना चाहते हैं, उन अपलोडर को प्राथमिकता दें जिनकी फ़ाइलों को अन्य लोगों द्वारा भी मिरर किया गया है या चर्चा की गई है। संवेदनशील डेटा तक पहुँच न होने वाली मशीन पर नई फ़ाइलों को पहले लोड करें।

डाउनलोड किए गए विवरण नोटबुक में लिख लें: रिपॉज़िटरी का नाम, तारीख, फ़ाइल का नाम और हैश। जब एक महीने बाद कोई बेहतर संपादन उपलब्ध होता है, तो आप दोनों को समान प्रॉम्प्ट्स पर तुलना करना चाहेंगे, और आपको यह जानने की आवश्यकता होगी कि आपने किस फ़ाइल का पहले परीक्षण किया था।

अंत में, व्यवहार का परीक्षण करें। अपने वास्तविक काम से दस से बीस प्रॉम्प्ट्स चलाएं और आउटपुट पढ़ें। एक फ़ाइल अखंड हो सकती है और फिर भी एक खराब एडिट हो सकती है: असंगत जवाब, लगातार दोहराव, या वे अस्वीकृतियाँ जो पूरी तरह से हटाए नहीं गए थे।

वे लाल झंडे जो आपको रोकने चाहिए

कुछ संकेत आगे विश्लेषण किए बिना ही पीछे हटने के लिए पर्याप्त हैं।

• रिपॉज़िटरी आपको सुरक्षा स्कैनिंग बंद करने, एक इंस्टॉलर चलाने, या टर्मिनल में एक कमांड रूट के रूप में पेस्ट करने के लिए कहती है।
• डाउनलोड लिंक एक फ़ाइल होस्ट की ओर इशारा करता है जो रिपॉज़िटरी पेज नहीं है, या पेज आपको अपना एंटीवायरस बंद करने के लिए कहता है।
• मॉडल कार्ड "100% अनसेंसर्ड, शून्य नुकसान" या वेट्स के एडिट के लिए असंभव किसी अन्य दावे का वादा करता है। हर एडिट में ट्रेड-ऑफ होता है, और ईमानदार कार्ड इसे कहते हैं।
• एक ज्ञात रिलीज़ का नए नाम से रीअपलोड, मूल से अलग फ़ाइल साइज़ के साथ।
• बेस मॉडल के लिए बिल्कुल भी लाइसेंस टेक्स्ट नहीं, जिसके लिए एक ज्ञात लाइसेंस है।

शुद्ध सिग्नल्स के साथ भी, नई फ़ाइलों को न्यूनतम एक्सेस देकर चलाएँ। यदि किसी प्रमुख रनटाइम की वर्तमान संस्करण द्वारा GGUF खोला जाता है, तो कोड निष्पादन का जोखिम नगण्य होता है, लेकिन रनटाइम में बग हो सकते हैं, इसलिए उन्हें अपडेट रखें। यदि कुछ गलत लगे, तो फ़ाइल हटा दें और कोई अन्य स्रोत चुनें। पुनः डाउनलोड करने में मिनट लगते हैं; आपके काम वाली मशीन पर खराब फ़ाइल से रिकवर करने में नहीं।

जब होस्टेड एंडपॉइंट समय बचाता है

ऑफ़लाइन उपयोग, क्वांटाइज़ेशन पर पूर्ण नियंत्रण, या मर्ज और प्रयोग करने की योजना होने पर डाउनलोड करना उचित है। यदि आपको केवल एक ऐसा मॉडल चाहिए जो कानूनी वयस्कों के उपयोग के लिए बिना कंटेंट रिफ्यूज़ल के उत्तर दे, तो होस्टेड API डाउनलोड, स्टोरेज, सत्यापन और मेमोरी प्लानिंग बचाता है।

यह सेवा एक ओपन-वेट मॉडल प्रदान करती है, जो एक स्वतंत्र प्रदाता द्वारा चलाई जाती है, ID uncensored के तहत। यह किसी वेंडर की आधिकारिक API का मिरर नहीं है। आप इसे OpenAI की तरह कॉल करते हैं:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

कॉन्टेक्स्ट विंडो 100,000 टोकन की है। स्ट्रीमिंग, टूल कॉलिंग और JSON मोड समर्थित हैं, और प्रॉम्प्ट को ट्रेनिंग के लिए उपयोग नहीं किया जाता है। पैरामीटर और लिमिट दस्तावेज़ पृष्ठ पर हैं।

डाउनलोड के सापेक्ष API की लागत

कोई डाउनलोड लागत नहीं है, लेकिन आप टोकन के लिए भुगतान करते हैं: $0.15 प्रति 1M इनपुट और $0.50 प्रति 1M आउटपुट। 4,000 इनपुट टोकन और 800 आउटपुट टोकन वाले अनुरोध की लागत 4,000 / 1,000,000 x $0.15 = $0.0006 प्लस 800 / 1,000,000 x $0.50 = $0.0004, यानी $0.001 होती है। ऐसे एक हज़ार अनुरोधों की लागत $1 है।

न्यूनतम टॉप-अप $20 है, $50 से +5%, $100 से +10% और $200 से +15%। क्रिप्टो से भुगतान करें। विवरण के लिए मूल्य देखें। भुगतान के बिना परीक्षण करने के लिए, साइन-अप के बाद API कुंजी पृष्ठ पर $0.50 का मुफ़्त ट्रायल क्रेडिट प्राप्त करें; यह 7 दिनों के लिए मान्य है। विशेष रूप से कोडिंग उपयोग के लिए, कोडिंग के लिए अबलिटरेटेड मॉडल पृष्ठ बताता है कि किस बात पर ध्यान देना है।

अधिक गाइड

• Abliterated Models चलाने का तरीका: स्थानीय, क्लाउड या API
• कोडिंग के लिए सर्वश्रेष्ठ Abliterated Models: क्या खोजना है