Abliterated Modelsの実行方法：ローカル、クラウド、またはAPI

まずルートを選択してください

	ローカル	レンタルクラウドGPU	ホスト型API
初期費用	すでに所有している可能性のあるハードウェア	なし	なし
セットアップ時間	一晩	一晩、さらにリモートサーバーの管理	数分
継続的なコスト	電気代	マシン稼働中の時間課金	トークンごと
必要なスキル	中程度	中程度から高レベル	低
プライバシー	最高	ホストによる	サーバー側；プロンプトはトレーニングに使用されません

法的な成人向けリクエストを拒否しないモデルからの回答のみが欲しい場合は、APIが最短ルートです。重みの実験やモデルのマージ、オフライン実行をしたい場合はローカルを選択してください。クラウドGPUは、大規模モデルを数時間だけ必要とし、ハードウェアを購入したくない人に適しています。

ルート1：ローカルで実行

ランタイムが読み込める形式の重みと、十分なメモリが必要です。最も一般的なセットアップは、llama.cppまたはそれに基づくツール（OllamaやLM Studioなど）を使用したGGUFファイルです。

1. メモリ量を推定します。重みはパラメータ数 × ビット数 ÷ 8 で計算されます。4bitの14Bモデルは約7GBです。コンテキストキャッシュ用に数GB追加してください。
2. 信頼できるソースから量子化されたファイルをダウンロードします。無検閲モデルとは何かのページで、これらのファイルの内容が説明されています。
3. サーバーを起動します。 llama.cppでは、以下のようなコマンドになります。
4. アプリから接続します。 サーバーはOpenAIスタイルのエンドポイントを公開するため、互換性のあるクライアントはすべて接続できます。

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

ここで-cはコンテキスト長を設定し、-ngl 99はレイヤーが収まる場合にすべてGPUにオフロードします。メモリ不足の場合は-nglを下げて、CPUにレイヤーが残る場合は出力が遅くなることを想定してください。

一般的なローカルでの問題は簡単に認識できます。メモリ不足で読み込みに失敗した場合は、量子化レベルを下げるかコンテキスト長を短くしてください（キャッシュはそれに比例して拡大します）。出力が著しく遅い場合は、一部のレイヤーがCPUで動作しているため、オフロードされたレイヤー数を確認してください。応答が反復ループに陥る場合は、温度を少し下げて反復ペナルティを上げてください。モデルが奇妙な形式で応答する場合は、チャットテンプレートがモデルが期待するものと一致していない可能性があります。多くのランタイムでは明示的に設定できます。

プライバシーとオフライン利用が重要、または16GB以上のメモリを持つカードをすでに所有している場合にローカルが最適です。

ルート2：クラウドでGPUをレンタル

レンタルサービスでは、大規模GPUを搭載したマシンを起動し、時間課金で利用できます。手順はローカルルートと似ていますが、リモートマシン上でSSH経由で実行し、使用中はマシンを稼働状態に保つ必要があります。この点が重要です：アイドル状態でも課金されるため、終了したら停止してください。

典型的なレンタルセッションは以下の通りです。モデルに十分なGPUメモリを持つマシンを選択し、ドライバーがインストールされたプリビルドイメージから起動し、重みをコピーまたはダウンロードし、サーバーを起動し、ポートが公開されないようにSSHトンネル経由で接続します。大きなファイルのダウンロードだけでも20〜30分を見積もってください。課金は通常その間に発生します。手順を一度スクリプトに記録しておけば、次のセッションはすぐに開始できます。

プロバイダーのサイトで現在の時間単価を確認してください。頻繁に変更されます。大規模なモデルをバッチ処理するなど、単発のタスクにはレンタルが適しています。1日に数回開くチャットには適していません。セッション間で課金が継続し、重み用の永続ストレージボリュームは別途課金されることが多いためです。

セキュリティは自己責任です。認証なしでモデルサーバーを公開インターネットに公開しないでください。ポートを見つけた誰でもGPUの使用時間を消費できます。

ルート3：ホスト型APIを呼び出す

このサービスは、独立したプロバイダによって実行され、法的な成人向け利用においてコンテンツ拒否なしで回答するように調整された1つのオープンウェイトモデルを提供します。モデルIDは uncensored です。これはいかなるモデルベンダーの公式APIではなく、複数のモデル間のルーターでもありません。Base URLは https://api.abliteratedmodels.cc/v1 です。

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

curlを使用した同じリクエスト：

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

ストリーミング、ツール呼び出し、JSONモードはOpenAI APIと同様に動作します。詳細はドキュメントをご覧ください。

各ルートのコストとAPIの計算

ローカルとレンタルのコストは自分で確認する必要があります。APIのコストは計算が簡単です。単価は、1M入力トークンあたり$0.15、1M出力トークンあたり$0.50です。

8,000トークンのコンテキストと600トークンの回答を含むコーディングアシスタントリクエストの場合、入力は8,000 / 1,000,000 x $0.15 = $0.0012、出力は600 / 1,000,000 x $0.50 = $0.0003です。リクエストあたり$0.0015です。1日100リクエスト、30日間では3,000リクエスト、月額$4.50になります。

最小チャージ額は$20で、これはその使用量を4ヶ月以上カバーするのに十分です。クレジットは期限切れになりません。ボーナスは$50から適用されます：+5%、さらに$100から+10%、$200から+15%。暗号資産（TRC20上のUSDT、Base上のUSDC）でお支払いいただけます。詳細は 価格ページ をご覧ください。

コーディングに適したモデルはどれですか？

コードが目的の場合、モデルサイズとトレーニングデータはabliterationステップよりも重要です。大きなモデルはより信頼性の高いコードを生成しますが、ローカルではより多くのメモリを必要とします。コーディング用の最高のabliteratedモデル の比較では、確認すべき項目がリストされています。候補をテストする際は、実際の業務からのバグ修正、短い関数、リファクタリング、見知らぬコードの説明など、同じ5〜6つのタスクを各モデルに与えてください。マーケティングではなく結果を比較してください。

ホストされたオプションはベースラインとして有用です。まずAPIに対してタスクセットを実行し、その後、手頃な価格のローカルモデルがそれと同等かどうかを確認します。

最も安いテストから始める

ハードウェアを購入するかマシンをレンタルする前に、APIに数分費やしてください。Google、またはメールとパスワードでサインインし、APIキーページで試用を申請してください。$0.50で7日間有効、1人1回、カード不要です。リクエストあたり$0.0015で、300回以上のリクエストが可能です。

試用キーは同時2リクエスト、1分あたり60リクエストまで許可されます。フルキーは8および300まで許可されます。制限を超えると、HTTP 429（rate_limitedまたはconcurrency）または一時的な過負荷時にRetry-After: 5が返されます。拒否のないモデルのより広い概要については、無フィルタAIモデルのページをお読みください。

APIはテキストのみで、明確なルールがあります：未成年者を含む性的コンテンツは禁止です。

その他のガイド

• Abliterated Models ダウンロード：安全なソースとチェック
• コーディングに最適なAbliterated Models：選ぶ際のポイント