Abacus in VSCode

Code Vervollständigung und Chat

Anstelle des vermurksten VSCode Forks von Abacus, können wir dessen Sprachmodelle auch direkt in VSCode einbetten.

1. In der Abacus Web UI einen API Key generieren und notieren.
2. PluginOAI Compatible Provider for Copilot installieren
3. Öffnen der VS Code Einstellungen und dort die Werte für  oaicopilot.baseUrl und oaicopilot.models pflegen. Beispiel:

    "oaicopilot.baseUrl": "https://routellm.abacus.ai/v1",
    "oaicopilot.models": [
    {
      "id": "meta-llama/Meta-Llama-3.1-8B-Instruct",
      "owned_by": "abacus"
    }

1. Das Github Copilot Chat interface öffnen.
2. Auf den model picker klicken und “Manage Models…” wählen.
3. “OAI Compatible” provider asuwählen.
4. API key eingeben .
5. Modelle auswählen.
6. VSCode neustarten