Artificial Intelligence

Lokale Nutzung von LLMs

• [Gpt4All]
  • für Ubuntu: gpt4all-installer-linux.run
  • we have a lightweight use of the Python client as a CLI.
  • Modelle: LLama, Nous, Phi-3 Mini, Mini Orca, Gpt4All Snoozy
  • GPT4All can run on CPU (AVX or AVX2), Metal (Apple Silicon M1+), and GPU.
  • ChatGPT kompatible API
• [Jan]
  • Linux als DEB-Paket mit rund 158 MByte
• [LMStudio]
  • LM Studio gestattet den Export von Inhalten zur Weiterverarbeitung in unterschiedlichen Formaten.
• [Ollama]
  • unter einer freien Lizenz stehende, plattformübergreifende Software
  • weiteres Paket speziell für Rechner mit AMD-APU