Abliterated Models ダウンロード：安全なソースと確認
abliteratedモデルのダウンロードは数ギガバイトのファイルであり、見知らぬ人からのものなので、数分かけて確認する価値があります。このページでは、検証すべき項目、より安全なフォーマット、およびダウンロードをスキップする方が簡単な場合についてリストしています。
更新日：
通常ダウンロードされる場所
ほとんどのアブリレーション済み重みは、オープンウェイトモデル用の主要な公開ハブであるHugging Faceに、完全精度のチェックポイントまたはllama.cpp、Ollama、LM Studio用の量子化されたGGUFファイルとして公開されています。一部のアップローダーは、トレントやファイルホストにもファイルを共有しています。リリースを判断するのに役立つモデルページ、バージョン履歴、コミュニティのコメントが失われるため、それらはより注意して扱ってください。
長い履歴、明確なモデルカード、他のユーザーがその動作を報告するディスカスレッドがあるリポジトリは、アップロードが1回で説明のない新しいアカウントよりも良い兆候です。アブリレーション済みモデルとは何かについて、詳しくはアブリレーション済みモデルとは何かの解説をご覧ください。
ファイル形式がリスクの度合いを決定します
フォーマットは、多くの人が期待する以上に重要です。
- safetensors. はプレーンなテンソルを保存し、読み込み時にコードを実行できません。これは完全精度の重みにとって安全な選択肢です。
- GGUF。 llama.cppおよびそれに基づくツールで使用される量子化された重みのフォーマットです。これもデータであり実行可能なコードではないため、ローカルチャットでの通常の選択肢です。
- Pickleベースのファイル（.bin、.pt、.ckpt）。 これらを一般的なPythonツールで読み込むと、ファイルに埋め込まれた任意のコードが実行される可能性があります。不明なソースからのそれらを避け、またはサンドボックスでのみ読み込んでください。
リポジトリがpickleファイルのみを提供し、safetensorsまたはGGUFバージョンが見つからない場合は、他の場所を探す理由になります。また、重みと一緒にカスタムPythonローダースクリプトを提供するリポジトリにも注意してください。実行する前にそのスクリプトを読み、または実行しないでください。
ダウンロード前のチェックリスト
- モデルカードを読む。 ベースモデル、拒否除去に使用された手法、量子化レベルを明記しているはずです。何も書かれていないカードは警告の兆候です。
- ライセンスを確認する。 無検閲コピーはベースモデルの条件を継承します。ライセンスの中には商用利用を制限するものや帰属を要求するものがあります。製品を構築する予定がある場合は、まずそれらを読んでください。
- ベースモデル名を公式リリースと比較してください。模倣したアップローダーは、異なるファイルに人気のある名前を付けている場合があります。
- ファイルリストとサイズを確認してください。 これらはパラメータ数と量子化と一致しているはずです。7B Q4ファイルが400 MB、または70Bファイルが4 GBである場合は誤りです。
- 公開されたチェックサムを探すダウンロード後に検証してください。
- コミュニティタブで、出力の破綻、繰り返し、または隠れた動作に関するレポートを確認してください。
まずダウンロードサイズを計算してください
概算ファイルサイズは「パラメータ数 × 重みあたりのビット数 ÷ 8」です。これらは重みだけであり、実際のファイルはわずかに大きくなります。
| パラメータ | 16ビット | 8ビット | 4ビット |
|---|---|---|---|
| 7B | 14 GB | 7 GB | 3.5 GB |
| 13B | 26 GB | 13 GB | 6.5 GB |
| 34B | 68 GB | 34 GB | 17 GB |
| 70B | 140 GB | 70 GB | 35 GB |
また、ダウンロード用と、自分で変換または量子化する場合は中間ファイル用の空きディスク容量も必要です。70 GBの転送の途中で容量が不足するのは一般的な悩みです。ファイルを実行するためのメモリは別の問題です：重みはGPUまたは統合メモリに収まり、かつコンテキストキャッシュ用の追加スペースも必要です。
ファイル到着後に検証する
空のフォルダにダウンロードし、スクリプトは別の場所に保管し、ファイルを読み込む前にハッシュを確認してください。
huggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository pageアップローダーがチェックサムを公開しない場合、ハッシュはファイルが転送中に破損していないことのみを示し、著者の意図したファイルであることを証明するものではありません。依存する予定のファイルについては、ファイルが他のユーザーによってミラーリングまたは議論されているアップローダーを優先してください。新しいファイルは、機密データにアクセスできないマシンで最初に読み込んでください。
ダウンロードした内容のメモを残してください：リポジトリ名、日付、ファイル名、ハッシュ。1ヶ月後により良い編集版が登場したとき、同じプロンプトで両方を比較したくなり、最初にテストしたファイルが何かを正確に把握しておきたくなるはずです。
最後に、動作をテストしてください。実際の作業からの10〜20個のプロンプトを実行し、出力を確認してください。ファイルが壊れていなくても、編集が不十分な場合があります。一貫性のない応答、繰り返しの発生、完全に除去されていない拒否などが該当します。
警戒すべき兆候
いくつかの兆候があれば、それ以上の分析なしに離脱するだけで十分です。
- リポジトリがセキュリティスキャンの無効化、インストーラの実行、またはルートとしてターミナルへのコマンド貼り付けを要求します。
- ダウンロードリンクがリポジトリページではないファイルホストを指しているか、ページがアンチウイルスを無効にするよう指示しています。
- モデルカードが「100%無検閲、ゼロロス」または重みの編集にはあり得ない他の主張を約束しています。すべての編集にはトレードオフがあり、誠実なカードはそれを明記しています。
- 既知のリリースの再アップロードで、新しい名前、元のファイルサイズとは異なるサイズ。
- ベースモデルが既知のライセンスを持っているにもかかわらず、ライセンステキストが全くない。
クリーンなシグナルがあっても、可能な限り最小限のアクセス権限で新しいファイルを実行してください。最新のランタイムで開かれたGGUFファイルにはコード実行のリスクはほとんどありませんが、ランタイムにはバグがあったため、常に最新に保ってください。何か変な点があれば、ファイルを削除して別のソースを選択してください。再ダウンロードには数分かかりますが、あなたの仕事を含むマシン上の不良ファイルからの回復はそうはいきません。
ホストされたエンドポイントが時間を節約する場合
オフライン使用、量子化の完全な制御、またはマージと実験を計画する場合にダウンロードが意味を持ちます。コンテンツ拒否なしで法的な成人利用に回答するモデルが欲しいだけの場合、ホストされたAPIはダウンロード、ストレージ、検証、メモリ計画を節約します。
このサービスは、独立したプロバイダによって管理される1つのオープンウェイトモデルを、ID uncensoredで提供しています。これはベンダーの公式APIのミラーではありません。OpenAIのように呼び出します：
from openai import OpenAI
client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)コンテキストウィンドウは100,000トークンです。ストリーミング、ツール呼び出し、JSONモードがサポートされており、プロンプトはトレーニングに使用されません。パラメータと制限はドキュメントページに記載されています。
ダウンロードに対するAPIのコスト
ダウンロードコストはありませんが、トークンごとに課金されます：入力1Mあたり$0.15、出力1Mあたり$0.50。入力トークン4,000、出力トークン800のリクエストのコストは、4,000 / 1,000,000 x $0.15 = $0.0006 に 800 / 1,000,000 x $0.50 = $0.0004 を加えた $0.001 です。そのようなリクエスト1,000個のコストは$1です。
最小チャージ額は$20で、$50からは+5%、$100からは+10%、$200からは+15%が追加されます。暗号資産で支払いしてください。詳細は料金表をご覧ください。支払いなしでテストするには、サインアップ後にAPIキーページで$0.50のトライアルを受け取るしてください。これは7日間有効です。コーディング用途に特化した場合は、コーディング用のアブリレーション済みモデルのページで、確認すべき点を比較してください。
その他のガイド
質問と回答
abliteratedモデルのダウンロードは安全ですか？
safetensorsまたはGGUFファイルを選び、モデルカードを読み、ライセンスを確認し、ハッシュ値を検証すれば安全です。不明なアップローダーによるpickleベースのファイルは避けてください。
abliteratedモデルはどこで公開されていますか？
主にHugging Faceで公開されており、safetensorsチェックポイントまたはGGUF量子化として提供されることが多いです。明確なカードと活発な議論があるリポジトリを優先してください。
ファイルのサイズはどのくらいですか？
概算は「パラメータ数 × 重みあたりのビット数 ÷ 8」です。7Bモデルの場合、4ビットでは約3.5 GB、16ビットでは14 GBになります。
abliteratedモデルをダウンロードせずに使用できますか？
はい。ホスト型のOpenAI互換APIを利用すれば、ローカルファイルなしで、法的な成人用途に適合するコンテンツ拒否のないモデルを利用できます。
キーはフォーム1つで手に入ります
アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。
