Die kurze Überschrift ist zwar prägnant, greift jedoch nicht vollständig, was AnythingLLM wirklich bietet. Besser wäre: „Dein eigenes ChatGPT mit deinen Daten – vollständig privat und sicher.“ Stell dir vor, du hast einen Chatbot, der jede Datei, die du ihm gibst, analysiert. Du kannst dann dem Bot einfach Fragen zum Inhalt der Dateien stellen, ohne dass diese Daten an Dritte übertragen werden.

Hier kommt AnythingLLM ins Spiel. Wir installieren es als Docker-Container auf einem Linux-Betriebssystem (bei mir Mint). Eine GPU mit CUDA und Docker ist von Vorteil. Nun erstellen wir einen Stack mit Docker Compose.

Mein Docker Compose File sieht so aus:

Nachdem die beiden Container (AnythingLLM und Ollama) erfolgreich gestartet sind, müssen wir noch ein Sprachmodell herunterladen, um den Chatbot zu nutzen. Dies erreichen wir mit folgendem Befehl:

Nach dem erfolgreichen Start sollte AnythingLLM unter der IP-Adresse http://deine-ip:3123 erreichbar sein. Sobald du diese Adresse im Browser aufrufst, wirst du durch die Einrichtung des Systems geführt.

AnythingLLM
Ollama