Qwen unrestricted: szybki start z API kompatybilnym z OpenAI

Uwierzytelnianie i URL bazowy

Pierwszym krokiem jest wskazanie klienta na nasz hostowany punkt końcowy. Użyj https://api.qwenunrestricted.com/v1 jako swój bazowy adres URL. Przekaż swój klucz API w Authorization nagłówek jako token Bearer. To działa z dowolnym SDK kompatybilnym z OpenAI.

Copycurl https://api.qwenunrestricted.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List steps to deploy a docker container."}]
  }'

Upewnij się, że Twój klucz jest ważny przed wysłaniem żądań. Błąd 401 oznacza, że klucz jest nieprawidłowy lub wygasł.

Wysyłanie żądania chat completion

Wyślij żądanie POST do /v1/chat/completions z Twoim promptem. ID modelu to uncensored. Model ten nie odrzuca legalnej treści dla dorosłych ani tematów kontrowersyjnych. Zwraca nieograniczone odpowiedzi bez obniżania podstawowej inteligencji.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.qwenunrestricted.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Ustaw nazwę modelu na uncensored. API przyjmuje standardowe parametry takie jak messages i max_tokens.

Konfigurowanie temperatury i top_p

Dostosuj temperature i top_p do kontrolowania losowości. Wyższe wartości zwiększają kreatywność. Niższe wartości sprawiają, że wyjścia są bardziej deterministyczne. Parametry te wpływają na to, jak model wybiera tokeny podczas generowania.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.qwenunrestricted.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Ustaw temperature to 0.7 for balanced results. Use top_p ograniczyć masę prawdopodobieństwa tokenów kandydujących. Pomaga to kontrolować różnorodność wyjścia.

Obsługa odpowiedzi strumieniowych (SSE)

Włącz strumieniowanie, ustawiając stream do true. API zwraca Wydarzenia Wysyłane Serwerem (SSE). Każdy fragment zawiera częściowe dane tokenów. Zbierz te fragmenty, aby zbudować ostateczną odpowiedź.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Przeanalizuj strumień SSE, aby wyświetlać tokeny w czasie rzeczywistym. Ostatni fragment zawiera całkowite zużycie tokenów. Pozwala to na dokładne śledzenie kosztów dla każdego żądania.

Wymuszanie trybu JSON dla wyjścia strukturalnego

Użyj response_format ustawione na {"type": "json_object"} do wymuszenia wyjścia w formacie JSON. Zapewnia to, że model zwraca poprawne struktury JSON. Przydatne do parsowania danych lub integracji z innymi systemami.

Ustaw parametr w ciele żądania. Model będzie ściśle przestrzegać reguł formatowania JSON. Zmniejsza to błędy parsowania w aplikacjach downstream.

Używanie wywoływania narzędzi (function calling)

Zdefiniuj narzędzia w żądaniu za pomocą tools parametr. Model może wywoływać te funkcje na podstawie promptu. Użyj tool_choice kontrolować wywoływanie funkcji.

Specify function definitions in the request. The API returns tool call arguments. Parse these arguments to execute functions. This enables complex agent workflows.

Zrozumienie zużycia tokenów i kosztów

Okno kontekstowe wynosi 100 000 tokenów. Maksymalny output to 16 000 tokenów na żądanie. Ceny to $0.15 za 1M tokenów wejściowych i $0.50 za 1M tokenów wyjściowych. Błędy są darmowe.

Sprawdź ostatni fragment SSE pod kątem szczegółów dotyczących użycia. Liczba tokenów odzwierciedla faktyczne przetwarzanie. Nie ma opłat subskrypcyjnych. Płać tylko za to, czego używasz.