Artificial Intelligence

Lokale Nutzung von LLMs

• [Gpt4All]
  • für Ubuntu: gpt4all-installer-linux.run
  • we have a lightweight use of the Python client as a CLI.
  • Modelle: LLama, Nous, Phi-3 Mini, Mini Orca, Gpt4All Snoozy
  • GPT4All can run on CPU (AVX or AVX2), Metal (Apple Silicon M1+), and GPU.
  • ChatGPT kompatible API
• [Jan]
  • Linux als DEB-Paket mit rund 158 MByte
• [LMStudio]
  • LM Studio gestattet den Export von Inhalten zur Weiterverarbeitung in unterschiedlichen Formaten.
• [Ollama]
  • unter einer freien Lizenz stehende, plattformübergreifende Software
  • weiteres Paket speziell für Rechner mit AMD-APU

	GPT4All	Jan	LM Studio	Ollama
Lizenz	MIT	AGPLv3	MIT	MIT
Oberfläche
natives GUI-Frontend	ja	ja	ja	ja
Weboberfläche	nein	nein	nein	ja
textbasiert	ja	nein	ja	ja
Funktionen
simultaner Download mehrerer LLMs	nein	ja	ja	eingeschränkt
mehrere LLMs pro Thread	ja	ja	ja	ja
Systemmonitor	ja	ja	ja	nein
Hardwarekonfiguration	ja	nein	nein	nein
Sprachmodelle konfigurierbar	ja	ja	ja	ja
LLMs aus der Cloud	nein	ja	nein	nein
Chatverläufe kopieren	nein	ja	ja	ja
Chatbot anhand eigener Dokumente	ja	nein	nein	nein
Sonderfunktionen
Installationsassistent	ja	nein	nein	nein
portabel (Appimage)	nein	ja	ja	nein