Generatiivse tehisintellekti arendaja AI21 Labs on välja andnud uue suure keelemodeli nimega Jamba, millel on märkimisväärne 256 000 märgiga kontekstaken. Jamba on eriline hübriid State Space’i mudelist (SSM) ja transformerite arhitektuuridest, ettevõtja sõnul esimene omalaadne.
Jamba ühendab spetsiaalselt AI21 Mamba SSM-i sellise transformerite infrastruktuuriga, mida kasutatakse populaarsetes generatiivsetes tehisintellekti mudelites nagu OpenAI GPT-3. Hübriidne disain aitab lahendada SSMi ja transformerite lähenemiste piiranguid. Jamba integreerib transformerite, Mamba SSMi ja ekspertide segu kihid ühte arhitektuuri, mis on optimeeritud mälu kasutamise, läbilaskevõime ja üldise jõudluse jaoks.
Võrreldes sama suurusega transformerimudelitega pakub Jamba kolm korda suuremat läbilaskevõimet pikkade kontekstülesannete puhul, mis on ettevõtetes olulised. Üks võimas GPU, mille mälu on umbes 80 GB ja kasutab Jamba’t, suudab iseseisvalt hakkama saada 140 000 märgiga kontekstaknaga. See võimaldab lihtsamat rakendamist ja eksperimenteerimist erinevates tööstusharudes.
AI21 on andis mudeli välja avatud lähtekoodiga Apache 2.0 litsentsi all.
Allikas: