Blog.

Konfigurieren Sie Ihren eigenen ChatGPT-Klon in 5 Minuten

Verfasst in: Englisch / Veröffentlicht: 28.04.2024 / Lesezeit: 4 Minute(n)

Und ein weiterer Beitrag zu A.I. Und warum diese Überschrift? ChatGPT von OpenAI, Microsofts Co-Pilot und Einstein der Salesforce sind einfach gut gelaufen! Aber, oder? Und auch wenn Sie glücklich über sie sind, sind Sie bereit, regelmäßige (nicht billige) Lizenzgebühren für alle Ihre Mitarbeiter zu zahlen, auch wenn sie es nur von Zeit zu Zeit verwenden? Vertrauen Sie auch wirklich Big Techs Versprechen über Vertraulichkeit, wenn es um Ihr geistiges Eigentum geht? Wenn Sie das alles mit Ja beantworten, können Sie jetzt aufhören zu lesen. Aber, falls Sie wissen möchten, wie Sie einfach Ihren eigenen A.I. Chatbot laufen können oder Sie sind einfach neugierig wie ich, wie das getan wird, mein Artikel gibt Ihnen einen Überblick, wie Sie das tun, indem Sie die beiden erstaunlichen Tools verwenden „Ollama„ und „Open WebUI„.

Vorbereitung und Anforderungen

Theoretisch könnten Sie sogar alles auf einem Laptop laufen, aber sicher würden Sie zumindest nach einer Weile mehrere Probleme stellen. Besser ist, einen Server mit installiert haben Andock auf und ab. Auch ein Reverse Proxy, und eine URL würde die Dinge glatter machen, aber sind nicht obligatorisch. Wie wir später in Kapitel-Performance sehen, wäre es nützlich, wenn Ihr Server eine dedizierte Grafikkarte hat, aber auch das ist kein Muss.

Installation und Konfiguration

Die Jungs aus dem Projekt „Open WebUI“ machten es sehr einfach, Ihren Chatbot laufen zu lassen. Im Grunde erstellen Sie einfach eine neue Docking-Verbindung. yml-Datei wie die in dem Beispiel unten und starten Sie die Sache wie üblich mit dem Befehl „docker compose up -d“. Das ist es, kein Witz!

services:
  chat:
    container_name: chat
    image: ghcr.io/open-webui/open-webui:ollama
    volumes:
      - ./ollama:/root/.ollama
      - ./open-webui:/app/backend/data
    restart: unless-stopped
    #ports:
    #  - 8080:8080
    networks:
      caddy:
networks:
  caddy:
    external: true

Wie Sie in meiner Beispieldatei sehen können, habe ich die Netzwerkkonfiguration angepasst und auch meine Reverse Proxy konfiguriert. Caddy Zugang zu Chats.de zu meinem neuen Container. Wie Sie im folgenden Screenshot sehen können, können Sie auf „Sign up“ klicken, um ein neues Benutzerkonto für sich selbst als Administrator zu erstellen.

Jetzt, nachdem Sie eingeloggt sind, gibt es nur noch zwei Schritte mehr zu tun, um Ihre A.I. Chats zu starten. Zuerst sollten Sie auf das Admin-Panel und dann auf den „Admin-Einstellungen“ gehen, um die Registrierung für andere Benutzer zu deaktivieren, um andere Benutzer zu vermeiden, nur ein Konto auf Ihrer Instanz erstellen. Dann in den Einstellungen auf der Registerkarte Modelle müssen Sie ein oder mehrere Sprachmodelle herunterladen. Es gibt viel zu wählen. Eine Übersicht finden Sie unter: https://ollama.com/library . Sie sind erledigt und wie Sie sehen, muss es nicht mehr als 5 Minuten dauern, falls Sie ein bisschen erfahren in der Docker und die Einrichtung von Werkzeugen im Allgemeinen.

Kosten

Seit allem Ich eingeführt und beschrieben basiert auf Open Source Software, es gibt überhaupt keine Kosten oder Lizenzgebühren. Toll, nicht wahr? Aber zu sagen, es ist völlig kostenlos ist auch nicht zwingend wahr, da Sie die Gebühren für den Server abdecken müssen, wenn Sie nicht „haben“ eine sowieso 🙂 .

Leistung

Wie bereits erwähnt, würde eine dedizierte Grafikkarte die Reaktionszeiten des Chatbots trendemly beschleunigen. Durch die Ausführung nur auf CPU, wie ich in meinem Beispiel, jede Generation einer Antwort nahm alle CPU-Leistung, die ich habe (und ich habe viel) für einige Sekunden. So fühlt sich das Ganze ein bisschen wie die frühen Versionen von ChatGPT. Das ist kein Drama, aber definitiv spürbar.

Schlussfolgerung

Als Schlussfolgerung lasse ich das openchat-Sprachmodell auf meine Aufforderung antworten: