Vad är Ollama? Din verktygslåda för lokal AI
Lästid: ca 7 min
I det förra momentet såg vi fördelarna med att köra AI lokalt. Nu tar vi det praktiska steget och lär känna Ollama, ett fantastiskt verktyg som kraftigt förenklar processen att ladda ner, installera och köra stora språkmodeller på din egen dator. Med Ollama förvandlas en komplicerad teknisk process till ett enda enkelt kommando.
Vad du lär dig
- Vad Ollama är och hur det fungerar.
- Hur du installerar Ollama.
- De grundläggande kommandona för att ladda ner och köra en AI-modell.
Grunderna: Vad gör Ollama?
Tänk på Ollama som en "app-butik" och "starthjälp" för lokala AI-modeller. Utan Ollama skulle du behöva ladda ner modellfiler manuellt, konfigurera komplexa inställningar och hantera Python-miljöer.
Ollama paketerar allt detta åt dig. När du ber Ollama att köra en modell, sköter den automatiskt:
- Nedladdning: Hämtar den korrekta modellfilen från ett säkert bibliotek.
- Konfiguration: Anpassar inställningarna för just din dators hårdvara.
- Körning: Startar modellen och ger dig en enkel chatt-prompt att interagera med.
Hårdvarukontext: Testerna i denna kurs är utförda på en dator med Ubuntu (ett Linux-operativsystem), ett NVIDIA RTX 4070-grafikkort med 8GB VRAM. Detta är en solid mellanklasslösning. Prestandan på din dator kan variera, men många mindre modeller fungerar utmärkt även på datorer utan ett lika kraftfullt grafikkort, inklusive Mac-datorer med Apple Silicon (M1/M2/M3).
Installationsprocessen: Steg för steg
Ollama finns tillgängligt för Linux, macOS och Windows. Installationen är överraskande enkel och tar bara några minuter.
För Windows och macOS: Gå till ollama.ai och ladda ner installationsfilen för ditt operativsystem. Installationen sker via en vanlig installer, precis som vilket program som helst.
För Linux (Ubuntu/Debian): Öppna en terminal och kör kommandot:
curl -fsSL https://ollama.ai/install.sh | sh
Efter installationen kan du kontrollera att allt fungerar genom att skriva ollama i terminalen. Du ska då se en lista över tillgängliga kommandon.
Praktisk tillämpning: Dina första steg med Ollama
När programmet är installerat hanterar du allt via ett terminal- eller kommandofönster. För Windows-användare, använd "Command Prompt" eller "PowerShell".
Steg 1: Ladda ner en modell Du väljer en modell från Ollamas bibliotek. Vi kommer att testa flera i denna kurs. För att ladda ner en modell skriver du:
ollama pull <modellnamn>
Till exempel, för att ladda ner modellen Llama 3.1 (8 miljarder parametrar):
ollama pull llama3.1:8b
Steg 2: Kör modellen När modellen är nedladdad startar du en konversation med kommandot:
ollama run <modellnamn>
Till exempel:
ollama run llama3.1:8b
Efter en kort stund kommer en prompt >>> att dyka upp i terminalen. Nu kan du skriva dina frågor direkt till AI-modellen. Allt du skriver och alla svar stannar på din dator.
Steg 3: Avsluta När du är klar skriver du /bye för att avsluta konversationen.
Praktiska tips för nybörjaren
Modelstorlekar och prestanda: Modeller finns i olika storlekar, oftast märkta som 7b, 8b, 12b (miljarder parametrar). Större modeller ger bättre kvalitet men kräver mer resurser. Som tumregel:
- 7-8b modeller: Fungerar på de flesta moderna datorer
- 12b+ modeller: Kräver minst 16GB RAM eller ett kraftfullt grafikkort (vi kör dock Gemma3:12b på 8GB VRAM utan problem i denna kurs)
Första gången du kör en modell: Nedladdningen kan ta tid beroende på din internetuppkoppling. En 8b-modell är cirka 4-5GB stor. Planera därför din första installation när du har gott om tid och stabil internet.
Användbara kommandon:
ollama list- Visa installerade modellerollama rm <modellnamn>- Ta bort en modell för att spara diskutrymmeollama show <modellnamn>- Visa information om en modell
Varför terminalen?
Även om det finns grafiska gränssnitt som bygger på Ollama, ger terminalen dig den mest direkta och kraftfulla kontrollen. Det är också det snabbaste sättet att växla mellan olika modeller för att se vilken som passar bäst för en specifik uppgift. Se det som en direktlinje till AI:ns motor.
Om du aldrig har använt terminalen tidigare kan det verka omständligt först, men efter några användningar blir den ett ovärderligt verktyg. När du har vant dig vid terminalen kommer du att föredra den, eftersom den är både enkel och snabb och ger dig full kontroll på vad som händer.
Nästa steg
Nu när du vet hur du använder Ollama är det dags för det roliga: att se vad de olika modellerna går för! I nästa moment börjar vi vår benchmark-genomgång med att titta på Gemma3, en modell som visat sig vara exceptionellt bra för pedagogiska och språkliga uppgifter.