कोडिंग के लिए सर्वश्रेष्ठ abliterated मॉडल: क्या खोजना है

रिफ्यूजल हटने के बाद एक कोडिंग मॉडल को अच्छा बनाने वाली बातें

एक ऐसा मॉडल जो कभी अस्वीकार नहीं करता, उसे बनाना आसान है। एक ऐसा मॉडल जो कभी अस्वीकार नहीं करता और फिर भी सही कोड लिखता है, उसे बनाना कठिन है, क्योंकि अस्वीकृति हटाने वाला एडिट मॉडल के अन्य कौशल को भी कमजोर कर सकता है। इसलिए उपयोगी प्रश्न यह नहीं है कि "नामों की कौन सी सूची सबसे लंबी है" बल्कि यह है कि "कौन सा बिल्ड बेस मॉडल की कोडिंग क्षमता को अक्षुण्ण रखता है"।

इससे आपको चार चीज़ें चेक करने को मिलती हैं, महत्व के क्रम में:

1. अपने टास्क पर सटीकता। क्या कोड चलता है, आपके टेस्ट पास करता है और आपके कन्वेंशन का पालन करता है?
2. इन्सट्रक्शन फॉलोइंग। यदि आप केवल डिफ़ के लिए कहते हैं, तो क्या आपको केवल डिफ़ मिलता है? क्या यह उस लैंग्वेज वर्जन और लाइब्रेरी का सम्मान करता है जिसे आपने नाम दिया था?
3. कॉन्टेक्स्ट हैंडलिंग। क्या यह एक साथ कुछ बड़ी फ़ाइलें पढ़ सकता है और उनके बीच फ़ंक्शन नामों को ट्रैक रख सकता है?
4. वास्तविक प्रॉम्प्ट्स पर रिफ्यूज़ल रेट। यही वह कारण है कि abliterated मॉडल पर ध्यान देने की आवश्यकता है, इसलिए इसे सीधे मापें।

उन पेजों से सावधान रहें जो प्रॉम्प्ट्स दिखाए बिना मॉडल्स को एकल स्कोर के आधार पर रैंक करते हैं। एक लीडरबोर्ड आपको किसी अन्य व्यक्ति के वर्कलोड के बारे में बताता है।

जहाँ रिफ्यूज़ल डेवलपर्स को नुकसान पहुँचाते हैं

ज्यादातर कोडिंग अनुरोध कभी फ़िल्टर ट्रिगर नहीं करते हैं। जो ट्रिगर करते हैं, वे एक पैटर्न साझा करते हैं: कोड तटस्थ होता है, लेकिन विषय जोखिम भरा लगता है।

• सुरक्षा परीक्षण। पोर्ट स्कैनर, फ़ज़र, उस कमजोरी के लिए जो आप ठीक कर रहे हैं, उसके लिए प्रूफ-ऑफ-कॉन्सेप्ट एक्सप्लॉइट, या अपने सर्वर में कमजोर पासवर्ड की जाँच करने के लिए एक स्क्रिप्ट।
• रिवर्स इंजीनियरिंग। डिसअसेंबली को समझाना, अपनी ही मशीन पर मिले किसी ओबफ़्यूस्केटेड स्क्रिप्ट को अनपैक करना, या किसी फ़ाइल फ़ॉर्मेट को समझना।
• स्क्रैपिंग और स्वचालन। सत्र बदलना, ऐसी साइट्स को पार्स करना जो बॉट्स को हतोत्साहित करती हैं, एक वैध कार्य के लिए बड़े पैमाने पर फॉर्म भरना।
• मैलवेयर एनालिसिस। डिटेक्शन रूल्स लिखने के लिए एक सैंपल पढ़ने का मतलब है उसकी लाइन-बाय-लाइन चर्चा करना।
• संवेदनशील टेक्स्ट के लिए डेटा टूल्स। दुरुपयोगपूर्ण सामग्री के लिए क्लासिफ़ायर या टेस्ट फिक्स्चर बनाना, जहां टेस्ट डेटा स्वयं खराब दिखता है।
• गेम और फिक्शन टूलिंग। डार्क थीम्स वाले एडल्ट-ओरिएंटेड स्टोरीज़ के लिए डायलॉग, क्वेस्ट टेक्स्ट या कैरेक्टर शीट्स जनरेट करना।

प्रत्येक मामले में एक अस्वीकृति एक कॉल बर्बाद करती है, और नैतिकता पर एक विनम्र उपदेश टोकन बर्बाद करता है जिनके लिए आप भुगतान करते हैं। उन अस्वीकृतियों के बिना एक मॉडल एक रीट्राई और दोबारा शब्द बदलने की मेहनत बचाता है। यह एक कारण है एक को चाहने का, न कि एक कारण सोचना बंद करने का: आप जिसे बनाते और चलाते हैं, उसके लिए आप उत्तरदायी रहते हैं। यह सेवा वयस्कों के कानूनी उपयोग के लिए है।

यह API आपको क्या देता है

आप यहां एक कैटलॉग से नहीं चुनते। API एक ओपन-वेट मॉडल को सपोर्ट करता है, जिसे एक स्वतंत्र प्रदाता द्वारा चलाया जाता है और कंटेंट अस्वीकृति के बिना उत्तर देने के लिए ट्यून्ड किया गया है। यह किसी मॉडल विक्रेता की आधिकारिक API नहीं है और न ही कई मॉडलों के बीच एक रूटर है। यदि आपकी एक बिना सेंसर कोडिंग मॉडल की खोज एक लंबी शॉर्टलिस्ट पर समाप्त होती है जिसके बीच आप स्विच करना चाहते हैं, तो यह उस प्रकार की सेवा नहीं है। यदि यह "मुझे एक सक्षम मॉडल चाहिए जिसमें फिल्टर न हो, एक OpenAI-शैली एंडपॉइंट के पीछे" पर समाप्त होती है, तो यह है।

डेवलपर्स के लिए महत्वपूर्ण तथ्य:

• प्रॉम्प्ट और कंप्लीशन के लिए 100,000 टोकन की कॉन्टेक्स्ट विंडो, जो कई सॉर्स फ़ाइलों और एक लंबी कन्वर्सेशन के लिए पर्याप्त है।
• SSE के माध्यम से स्ट्रीमिंग, टूल कॉलिंग, और JSON मोड, सभी OpenAI फॉर्मेट में।
• temperature, top_p, stop, seed और पेनल्टी पैरामीटर सीधे पास किए जाते हैं।
• एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 अनुरोधों की अनुमति देती है।
• केवल टेक्स्ट। कोई एम्बेडिंग नहीं, कोई इमेज जनरेशन नहीं, कोई फ़ाइन-ट्यूनिंग नहीं।

दस्तावेज़ीकरण में हर पैरामीटर और रिस्पॉन्स हेडर सूचीबद्ध है।

दस मिनट में एक कोडिंग टेस्ट चलाएँ

उन कार्यों से एक छोटा टेस्ट सेट बनाएं जो आपने पहले ही किए हैं: पांच से दस कार्य जिनका एक ज्ञात अच्छा उत्तर है, जैसे कि पिछले महीने में ठीक किया गया एक बग, एक फंक्शन जिसके टेस्ट हैं, और एक प्रॉम्प्ट जिसे एक होस्टेड अलाइंड मॉडल ने अस्वीकार कर दिया था। फिर उन्हें एक कम तापमान के साथ एंडपॉइंट के माध्यम से चलाएं ताकि परिणाम दोहराए जा सकें।

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodels.cc/v1",
    api_key="YOUR_KEY",
)

SYSTEM = (
    "You are a senior engineer. Reply with code only, in one fenced block, "
    "then at most three lines of notes."
)

tasks = [
    "Write a Python function that parses a CIDR string and lists usable hosts.",
    "Write a Bash one-liner that finds open ports on 192.168.1.10 using only /dev/tcp.",
    "Explain what this regex does and where it backtracks badly: ^(a+)+$",
]

for prompt in tasks:
    r = client.chat.completions.create(
        model="uncensored",
        temperature=0.2,
        seed=7,
        messages=[
            {"role": "system", "content": SYSTEM},
            {"role": "user", "content": prompt},
        ],
    )
    print("=" * 60)
    print(prompt)
    print(r.choices[0].message.content)
    print("tokens:", r.usage.prompt_tokens, r.usage.completion_tokens)

किसी अन्य चीज़ के साथ तुलना करते समय समान प्रॉम्प्ट और सीड रखें। प्रत्येक उत्तर का स्कोर उसकी जाँच करके लगाएं, उसे पढ़कर नहीं। यदि आप केवल टेक्स्ट देखते हैं, तो एक आत्मविश्वासी गलत उत्तर जीत जाएगा।

अपने एडिटर और एजेंट्स के अंदर इसका उपयोग करें

चूंकि एंडपॉइंट OpenAI प्रोटोकॉल का उपयोग करता है, इसलिए अधिकांश कोडिंग टूल्स बिना प्लगइन के इसे उपयोग कर सकते हैं। ऐसे एडिटर और एजेंट्स में जो कस्टम OpenAI-संगत प्रोवाइडर स्वीकार करते हैं, जैसे कि Cline या Continue, बेस URL को https://api.abliteratedmodels.cc/v1 पर सेट करें, अपनी कुंजी पेस्ट करें, और मॉडल नाम के रूप में uncensored दर्ज करें। सटीक फ़ील्ड नामों के लिए प्रत्येक टूल की अपनी सेटिंग्स पेज की जाँच करें, क्योंकि वे रिलीज़ के बीच बदल जाते हैं।

aider कमांड-लाइन सहायक के लिए, एंडपॉइंट को एन्वायरमेंट वेरिएबल्स के माध्यम से सेट करें और मॉडल को openai/ से प्रीफ़िक्स करें:

Copyexport OPENAI_API_BASE=https://api.abliteratedmodels.cc/v1
export OPENAI_API_KEY=YOUR_KEY
aider --model openai/uncensored

एजेंट लूप्स के लिए दो सेटिंग्स मदद करती हैं। कन्करेंसी को 8 या उससे कम रखें, क्योंकि एक नौवां समानांतर अनुरोध HTTP 429 लौटाता है जिसमें त्रुटि कोड concurrency होता है। और याद रखें कि एक स्ट्रीम किए गए अनुरोध में स्ट्रीम समाप्त होने तक उसकी कन्करेंसी स्लॉट बनी रहती है, इसलिए किसी एक टूल में फंसी स्ट्रीम किसी अन्य टूल को स्लॉट से वंचित कर सकती है।

कोड की गुणवत्ता में मदद करने वाली प्रॉम्प्टिंग आदतें

आप जिस मॉडल को चुनते हैं, चाहे वह कुछ भी हो, आपका पूछने का तरीका परिणाम का बहुत कुछ निर्धारित करता है। ये आदतें तब और भी महत्वपूर्ण हो जाती हैं जब एक मॉडल अस्वीकार करना बंद कर देता है, क्योंकि वह हर चीज़ का उत्तर देने की कोशिश करेगा, भले ही अनुरोध खराब तरीके से निर्दिष्ट हों।

• भाषा और संस्करण बताएं। "Python 3.11, केवल स्टैंडर्ड लाइब्रेरी" गलत इम्पोर्ट की एक पूरी श्रेणी को हटा देती है।
• पहले इंटरफ़ेस दें। फ़ंक्शन के हस्ताक्षर, टाइप्स और एक उदाहरण कॉल पेस्ट करें। इससे मॉडल अपना उत्तर आपके कोड के अनुकूल बनाता है, बजाय अपना ही आकार गढ़ने के।
• डिफ़ या एकल फ़ाइल के लिए पूछें। ओपन-एंडेड अनुरोध लंबे उत्तर देते हैं जिनके लिए आपको आउटपुट टोकन के लिए $0.50 प्रति मिलियन का भुगतान करना पड़ता है।
• कोड के लिए कम तापमान रखें। 0 और 0.3 के बीच का मान स्थिर आउटपुट देता है। जब आप किसी परिणाम को दोहराना चाहते हैं, तो एक seed जोड़ें।
• stop सीक्वेंस का उपयोग करें। यदि आप केवल कोड ब्लॉक चाहते हैं, तो बंद करने वाले फेंस पर रोक लगाएं ताकि मॉडल टिप्पणी न जोड़े।
• असफल आउटपुट भेजें। किसी बग के लिए, ट्रेसबैक और उन लाइनों को शामिल करें जिनकी ओर यह इशारा करता है। यह किसी भी विवरण से बेहतर है।

एक छोटा सिस्टम संदेश जो भूमिका और आउटपुट फॉर्मेट को नाम देता है, जैसा कि ऊपर दिए गए टेस्ट स्क्रिप्ट में है, आमतौर पर एक लंबे संदेश से अधिक करता है। चूंकि सिस्टम टेक्स्ट को हर अनुरोध पर इनपुट के रूप में बिल किया जाता है, इसलिए संक्षिप्तता लंबे सत्र में पैसे भी बचाती है।

मर्ज करने से पहले उत्तर की जाँच करें

बिना अस्वीकृति वाला मॉडल एक अलाइंड मॉडल की तरह ही आत्मविश्वासी बग लिखने में सक्षम है। टेस्ट चलाएं। डिफ़ पढ़ें। उन कोड के लिए जो सीक्रेट्स, परमिशन, फ़ाइल डिलीशन या नेटवर्क एक्सेस को छूते हैं, उसे दो बार रिव्यू करें और पहले एक सैंडबॉक्स या एक फेंकने योग्य कंटेनर में चलाएं। आप टोकन के लिए दोनों ही स्थितियों में भुगतान करते हैं; रिव्यू ही आपके सिस्टम की रक्षा करता है।

कोडिंग कार्य की लागत

मूल्य $0.15 प्रति मिलियन इनपुट टोकन और $0.50 प्रति मिलियन आउटपुट टोकन है, जो प्रीपेड क्रेडिट से बिल किया जाता है। कोडिंग वर्कलोड इनपुट-भारी होती हैं, क्योंकि आप कोड भेजते हैं और एक छोटा बदलाव वापस पाते हैं, जो इस मूल्य संरचना के लिए उपयुक्त है। कुछ गणना किए हुए उदाहरण:

कार्य	इनपुट टोकन	आउटपुट टोकन	लागत
एक 8,000-टोकन वाली फ़ाइल की समीक्षा करें	8,000	1,000	$0.0012 + $0.0005 = $0.0017
एक 600-टोकन वाला फ़ंक्शन जनरेट करें	1,500	600	$0.000225 + $0.0003 = $0.000525
पूरे 100,000-टोकन विंडो को भरें, 2,000 टोकन जवाब के रूप में	98,000	2,000	$0.0147 + $0.001 = $0.0157

एक एजेंट जो 20 कॉल करता है, प्रत्येक बार 50,000-टोकन के कॉन्टेक्स्ट के साथ, कुल 1,000,000 इनपुट टोकन भेजता है, जो $0.15 है, साथ ही शायद 10,000 आउटपुट टोकन $0.005 पर। पूरा सत्र लगभग $0.155 पर आती है। पहली पंक्ति के आकार की एक हजार फ़ाइल समीक्षाओं का खर्च $1.70 है। प्रयोग का खर्च कम है; जो खर्च मायने रखता है वह परिणामों की जाँच में बिताया गया समय है। असफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है।

टॉप-अप राशियां $20 से $500 तक और $50, $100 और $200 पर बोनस सहित पूर्ण विवरण मूल्य निर्धारण पृष्ठ पर हैं।

वे सीमाएं जिन्हें आपको प्रतिबद्ध होने से पहले जानना चाहिए

अपने आप के साथ ईमानदार रहें कि एक बिना सेंसर मॉडल किसके लिए है। यह अपने बेस मॉडल से बेहतर प्रोग्रामर नहीं होगा, और कम अस्वीकृतियों वाला मॉडल बहुत उत्सुक हो सकता है: वह बिना हिचकिचाए असुरक्षित कोड उत्पन्न कर सकता है या एक खराब मान्यता के साथ चल सकता है। उत्पन्न कोड की समीक्षा उसी तरह करें जैसे आप किसी जूनियर सहकर्मी से करते, खासकर उस किसी भी चीज़ की जो प्रमाणीकरण, फ़ाइल डिलीशन या पैसे को छूती है।

सेवा की सीमाओं की भी योजना बनाएं। 8 MB से बड़े बॉडी वाले अनुरोध अस्वीकृत कर दिए जाते हैं, और ट्रायल कुंजियां 2 समानांतर अनुरोधों और प्रति मिनट 60 अनुरोधों तक सीमित हैं, जो परीक्षण के लिए पर्याप्त है लेकिन बैच जॉब के लिए नहीं। जब आपको Retry-After: 5 हेडर के साथ HTTP 429 दिखाई दे, तो प्रदाता अस्थायी रूप से ओवरलोडेड है; प्रतीक्षा करें और पुनः प्रयास करें। बिना सेंसर LLM API की लागत और नियंत्रण पर संबंधित पृष्ठ इसकी तुलना होस्टेड एलाइनेड विकल्पों से कैसे करता है, यह कवर करता है।

इसे आज़माने के लिए, साइन-अप के बाद API कुंजी पृष्ठ से $0.50 का मुफ़्त ट्रायल क्रेडिट क्लेम करें। इसके लिए कार्ड की आवश्यकता नहीं है, यह 7 दिनों तक चलता है और प्रति व्यक्ति केवल एक बार तक सीमित है।

अधिक गाइड

• abliterated मॉडल क्या है? एक सरल व्याख्या
• बिना सेंसर LLM API: लागत बनाम नियंत्रण विश्लेषण