Prompt flow bilan promptlarni boshqarish

# Variant 1: kirishlar USER promptida
variant_1 = """Foydalanuvchiga tavsiya ber.
Mavzu: {mavzu}
Janr: {janr}
Format: {format}"""
 
# Variant 2: kirishlar SYSTEM promptida
variant_2_system = """Siz {mavzu} bo'yicha {janr} janridagi {format}
formatida tavsiya beruvchi ekspertsiz."""
variant_2_user = "Menga tavsiya ber."

RUBRIKA = {
    "janr_mosligi": {
        "tavsif": "Tavsiya so'ralgan janrga qanchalik mos",
        "shkala": {
            5: "Aynan so'ralgan janr",
            3: "Yaqin janr",
            1: "Janr umuman mos emas",
        },
    },
    "mavzu_mosligi": {
        "tavsif": "Tavsiya mavzuga qanchalik mos",
        "shkala": {5: "To'liq mos", 3: "Qisman", 1: "Mos emas"},
    },
    "aniqlik": {
        "tavsif": "Tavsiya haqiqiy va to'g'rimi",
        "shkala": {5: "Barcha faktlar to'g'ri", 3: "Ba'zi xatolar", 1: "Ko'p xato"},
    },
}

import json
 
 
def baho_ber(savol, javob, rubrika, client):
    """LLM javobni rubrika bo'yicha baholaydi."""
    mezonlar_matni = "\n".join(
        f"- {nom}: {m['tavsif']} (shkala: {m['shkala']})"
        for nom, m in rubrika.items()
    )
 
    prompt = f"""Quyidagi javobni rubrika bo'yicha bahola.
 
SAVOL: {savol}
 
JAVOB: {javob}
 
RUBRIKA:
{mezonlar_matni}
 
Har mezon uchun ball ber va sababini yoz.
Natijani QAT'IY JSON formatida qaytar:
{{"janr_mosligi": {{"ball": N, "sabab": "..."}}, ...}}"""
 
    natija = client.chat.completions.create(
        model="gpt-4-turbo",
        messages=[{"role": "user", "content": prompt}],
        temperature=0,                    # baholash IZCHIL bo'lishi kerak
    )
 
    matn = natija.choices[0].message.content
    boshi, oxiri = matn.find("{"), matn.rfind("}") + 1
    return json.loads(matn[boshi:oxiri])

def variantlarni_solishtir(test_savollar, variant_a, variant_b, rubrika, client):
    """Ikki profilni rubrika bo'yicha baholab solishtiradi."""
    natijalar = {"a": [], "b": []}
 
    for savol in test_savollar:
        # Har variant javob beradi
        javob_a = variant_a(savol)
        javob_b = variant_b(savol)
 
        # LLM ikkalasini baholaydi
        baho_a = baho_ber(savol, javob_a, rubrika, client)
        baho_b = baho_ber(savol, javob_b, rubrika, client)
 
        natijalar["a"].append(sum(m["ball"] for m in baho_a.values()))
        natijalar["b"].append(sum(m["ball"] for m in baho_b.values()))
 
    print(f"Variant A o'rtacha: {sum(natijalar['a']) / len(natijalar['a']):.2f}")
    print(f"Variant B o'rtacha: {sum(natijalar['b']) / len(natijalar['b']):.2f}")
    return natijalar