věda

Co je kontextové okno?

Modely AI nečtou slova; místo toho čtou kusy znaků nazývané tokeny. | Fotografický kredit: Solen Feyissa/Unsplash

A: V kontextu umělé inteligence (AI), konkrétně velkých jazykových modelů (LLM), jako jsou GPT-5 a Claude, představuje kontextové okno maximální množství textu, které může model vzít v úvahu při generování odpovědi.

Modely AI nečtou slova; místo toho čtou kusy znaků nazývané tokeny. Typicky 1 token odpovídá zhruba 0,75 slovům (v angličtině), takže 1 000 tokenů bude představovat přibližně 750 slov. Takže když má model kontextové okno například 8 000 tokenů, znamená to, že dokáže zpracovat zhruba 6 000 slov dat najednou.

Každé kontextové okno musí obsahovat tři věci současně: pravidla, která říkají AI, jak se má chovat; historie aktuálního chatu; a prostor potřebný pro AI k vygenerování další odpovědi.

Pokud je limit 8 000 tokenů a vaše historie konverzace je dlouhá 7 900 tokenů, AI zbývá pouze 100 tokenů. Pokud konverzace přesahuje kontextové okno, model může začít odstraňovat nejstarší části konverzace.

Kontextové okno je propojeno s výpočetními prostředky dostupnými pro model. Pokud zvětšíte délku kontextového okna 2x, požadovaný výkon se zvýší zhruba 4x. Takže modely s většími okny jsou mnohem dražší na provoz.

Někdy, i když model může přijmout několik tisíc žetonů, může mít problém najít informaci pohřbenou uprostřed. Tomu se říká fenomén „ztraceno uprostřed“.

Zdrojový odkaz

Related Articles

Back to top button