SkoleGPT skifter motor

Del med dit netværk

SkoleGPT er et gratis og datasikkert alternativ til de kommercielle sprogmodeller rettet særligt mod skolen. Det er Future Classroom Lab og CFU ved Københavns Professionshøjskole der står bag SkoleGPT og de beskriver det selv som en tryg sandkasse, hvor data ikke gemmes. Der er altså brug for tjenester som SkoleGPT, men tjenesten har fra starten lidt under at sprogmodellen, Llama2 13 B, har foretrukket at tale engelsk og at den derfor har været svær at få til levere virkelig gode resultater. Heldigvis er der meget hjælp at hente (for eksempel denne Promptplakat til SkoleGPT), men nu sker der virkelig spændende ting med tjenesten: man skifter nemlig sprogmodel til open source modellen Mixtral-8-7b.

Motoren i SkoleGPT bliver nu skiftet ud til den langt bedre Mixtral.

Den nye version rulles nu ud, men som nogen måske allerede har opdaget, har man faktisk kunne lege med den nye sprogmodel via et hemmeligt link – nederst på www.skolegpt.dk gemmer der sig nemlig en tekst, der fortæller at den nye model kan prøves ved at klikke på linket. Der har altså været en slags softlaunch af den nye model og det har betydet at der allerede er flere der har fået erfaringer med modellen, ligesom folkene bag SkoleGPT har fået lov at teste det nye setup.

I dag er så skiftet ud, så den store grønne knap fører til den nye version, mens linket nederst vil pege på den nu gamle model. I løbet af den kommende tid vil den nye model blive flyttet så det er den der ligger på chat.skolegpt.dk.

Vi tog en snak med en af hovedkræfterne i arbejdet, Martin Exner fra Future Classroom Lab.

Vi har i meget lang tid drømt om at skifte sprogmodel. Der sker meget på området og den vi har brugt indtil videre var allerede fra starten udfordret. Især i forhold til at blive ved med at tale dansk.
– Martin Exner

Martin fortæller at det på ingen måde er hverken meningen eller muligt at konkurrere med de store kommercielle sprogmodeller, men at SkoleGPT skal ride med på det bedste man kan finde på open source scenen. Her er Mixtral 8-7b er godt bud. Den yder noget der ligner 70-80% af de som de store kommercielle modeller kan klare og rent faktisk bedre en GPT 3.5, som er den sprogmodel der er gratis adgang til hos ChatGPT. Udover at den nye model er bedre til at holde sig på sproget, er den også – i modsætning til den gamle model – mulig at få tilbage på sporet (eller rettere sproget) hvis først den falder i og kommer til at tale engelsk.

Det er ikke bare sprogmodellen der er blevet opdateret. Også den tekniske bagside er blevet forbedret. Alt er nu flyttet væk fra Hugging Face og AWS (i Europa) og til et 100% dansk hosting-setup. Den nye udgave kører på servere placeret hos Dansk Biblioteks Central (DBC) i Ballerup. Teknisk er der tale om et setup der anvender fysiske servere i såkaldte clusters – kubernetes – som betyder der er masser af serverkraft og skalerbarhed.

Selvom der er kommet ny sprogmodel ligner interfacet sig selv. Svarene er dog blevet en del bedre.

Stadig masser af arbejde

Der er stadig meget man gerne vil og er i gang med i forhold til udviklingen af sprogmodellen og tjenesten. Således er man stadig ved at teste hvilke forbedringer man kan få ved at finjustere sprogmodellen med det datasæt man fik opbygget i vinter. Her kombinerede man et open source datasæt som blev oversat til dansk men en masse spørgsmål og svar fra et spørgeskema. Det skulle gerne gøre modellen endnu bedre til dansk, men især endnu bedre til at svare i en skolekontekst.

Man ville også gerne have muligheder for flere modaliteter som lyd og billede, men både udvikling og hosting er dyrt, så man håber på at der er fonde eller lignende som kunne tænke sig at støtte udviklingen. “Der er faktisk også nogen der efterspørger at vi fortsætter med at have den gamle sprogmodel kørende så man kan få indblik i hvordan modellerne udvikler sig. Det vil vi meget gerne, men den slags er jo desværre ret dyrt.” slutter Martin Exner af.


Del med dit netværk

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *