Qwen-unrestricted: openai-yhteensopiva api-quickstart

Todennus ja base URL

Jokaisen osion ensimmäinen lause vastaa osion otsikossa esitettyyn kysymykseen. Ensimmäinen askel on osoittaa asiakas isännöitylle päätepisteellemme. Käytä https://api.qwenunrestricted.com/v1 pohja-URL:ksi. Välitä API-avaimesi kenttään Authorization header Bearer-tokenina. Tämä toimii minkä tahansa OpenAI-yhteensopivan SDK:n kanssa.

Copycurl https://api.qwenunrestricted.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List steps to deploy a docker container."}]
  }'

Varmista, että avain on voimassa ennen pyyntöjen lähettämistä. 401-virhe tarkoittaa, että avain on virheellinen tai vanhentunut.

Lähettämällä chat-completion-pyyntö

Lähetä POST-pyyntö osoitteeseen /v1/chat/completions syötteelläsi. Mallin tunnus on uncensored. Tämä malli ei hylkää laillista aikuis tai kiistanalaista sisältöä. Se tarjoaa rajoittamattomia tuloksia heikentämättä perusälykkyyttä.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.qwenunrestricted.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Aseta mallin nimeksi uncensored. API hyväksyy standardiparametreja kuten messages ja max_tokens.

Lämpötilan ja top_p:n määrittäminen

Säädä temperature ja top_p hallitsemaan satunnaisuutta. Korkeammat arvot lisäävät luovuutta. Matalammat arvot tekevät tuloksista deterministisempiä. Nämä parametrit vaikuttavat siihen, miten malli valitsee tokenit generoinnin aikana.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.qwenunrestricted.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Aseta temperature arvoon 0.7 tasapainotettuihin tuloksiin. Käytä top_p rajoittaa ehdokastokennejen todennäköisyysmassaa. Tämä auttaa hallitsemaan tulosten monimuotoisuutta.

Striimitettyjen vastausten käsittely (SSE)

Ota streamaus käyttöön asettamalla stream arvoon true. API palauttaa palvelimen lähettämiä tapahtumia (SSE). Jokainen lohko sisältää osittaista tokenidataa. Kerää nämä lohkot rakentaaksesi lopullisen vastauksen.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Jäsennä SSE-virta näyttääksesi tokenit reaaliajassa. Viimeinen palikka sisältää kokonaistokenkäytön. Tämä mahdollistaa tarkan kustannusten seurannan pyyntökohtaisesti.

JSON-tilan pakottaminen rakenteiselle lähdölle

Käyttö response_format asetettuna {"type": "json_object"} pakottaa JSON-tulosteen. Tämä varmistaa, että malli palauttaa kelvollisen JSON-rakenteen. Hyödyllinen datan jäsentämiseen tai integrointiin muihin järjestelmiin.

Aseta parametri pyyntörunkossa. Malli noudattaa tiukasti JSON-muotoilusääntöjä. Tämä vähentää jäsentamisvirheitä jälkikäsittelysovelluksissa.

Työkalukutsujen (funktio kutsut) käyttö

Määritä työkalut pyyntöön käyttämällä tools parametri. Malli voi kutsua näitä toimintoja promptin perusteella. Käytä tool_choice hallita toiminnon kutsumista.

Määritä funktiomäärittelyt pyynnössä. API palauttaa työkalukutsujen argumentit. Jäsentele nämä argumentit funktioiden suorittamiseksi. Tämä mahdollistaa monimutkaiset agenttityövuorot.

Ymmärrä token-käyttöä ja kustannuksia

Kontekstiikkoni on 100 000 tokenia. Tulostuksen maksimimäärä on 16 000 tokenia pyyntöä kohden. Hinta on $0.15 per 1M syöttötokenia ja $0.50 per 1M tulostus-tokenia. Virheet ovat ilmaisia.

Tarkista viimeinen SSE-lohkko käyttötilastojen varmistamiseksi. Tokenien määrät heijastavat todellista käsittelyä. Ei tilausmaksuja. Maksa vain käytetystä.