Overblik
Hvad er det
Et program, der kører de største open source AI-modeller på almindelig hardware
Udbredelse
38.900+ stjerner på GitHub. Startede som én persons projekt på en bærbar
Relevant for
Dem, der vil bruge stærke AI-modeller uden at sende data ud af huset.
Sværhedsgrad
Selve programmet er nemt at starte. Modellen fylder flere hundrede gigabyte, og tålmodighed er et krav.
Licens: Apache-2.0
Både programmet og modellerne er gratis at hente. Det, der koster, er hardwaren: hukommelse, en hurtig harddisk og gerne et grafikkort.
De største AI-modeller kører i enorme datacentre, de fleste af dem i USA. Vil du bruge dem, sender du dine data afsted. Det har været prisen.
Men flere af de stærkeste modeller er faktisk open source. Alle kan hente dem. Problemet er, at de er så store, at de ikke kan være i en almindelig computers hukommelse.
Det problem har udvikleren Vincenzo Fornaro taget fat på. Hans projekt hedder Colibri. Det startede på en bærbar med 25 GB hukommelse og har nu næsten 39.000 stjerner på GitHub.
Hvad det egentlig er
De nyeste modeller er bygget som et hold af eksperter. Der kan være hundredvis af dem, men ved hvert ord bliver kun en lille håndfuld kaldt ind. Resten sidder bare og venter.
Colibri udnytter det. Programmet holder øje med, hvilke eksperter der bliver brugt mest, og holder dem klar i hukommelsen. Resten bliver liggende på harddisken, indtil der er brug for dem.
Tænk på det som et skrivebord og et bibliotek. De bøger, du bruger hver dag, ligger fremme. Resten henter du på hylden, når du skal bruge dem. Det tager lidt længere tid, men du behøver ikke et skrivebord på størrelse med biblioteket.
Hvor hurtigt går det
Hastigheden afhænger helt af, hvad du kører det på. Tallene her er fra projektets egen dokumentation og gælder en model på 744 milliarder parametre. Et token svarer cirka til et ord.
Bærbar med 25 GB hukommelse
0,05 til 0,1 token i sekundet. Et ord hvert 10. til 20. sekund. Det er ikke til at arbejde med, men det beviser, at det kan lade sig gøre.
Stationær med 128 GB hukommelse
Cirka 1,8 token i sekundet, uden grafikkort. Langsomt, men brugbart til opgaver, hvor du ikke sidder og venter på svaret.
Seks grafikkort af typen RTX 5090
Op til 6,8 token i sekundet. Nu kan man læse med, mens den skriver.
Til sammenligning svarer ChatGPT og Claude typisk med mange gange den hastighed. Colibri vinder ikke på tid. Det vinder på, at maskinen står hos dig.
Bundlinje
I artiklen om Nextcloud skrev jeg om at tage sine filer hjem fra Microsoft. Colibri er samme tanke, bare for AI. Modellen kører på din maskine, og dine data forlader aldrig bygningen.
Det er ikke noget, man ruller ud i en kommune i morgen. Det kræver hardware, plads og tålmodighed. Men hardwaren bliver billigere hvert år, og programmerne bliver klogere. Den dag, en almindelig arbejdsstation kan køre en topmodel i fornuftigt tempo, er argumentet for at sende alt til USA langt svagere.
Nyhedsbrev
Jeg sender en lignende gennemgang af et Open Source-projekt ca. en gang om måneden.