Anfrage stellen

vLLM

von vLLM Project

Dein eigenes Sprachmodell als schnelle API

Hochleistungs-Server für Sprachmodelle mit hohem Durchsatz – für eigene KI-Infrastruktur.

Open SourceVertrauen 89Für ProfisLäuft offlineLinux
Über OROBO laden

Geprüfte Quellegithub.com/vllm-project/vllmLizenz: Apache-2.0geprüft vor 3 StundenPrüfsumme (SHA-256) steht bei jedem Release auf GitHub.

Einrichten lassen statt selbst aufsetzen:Einrichtung durch OROBO anfragenOder zuerst der KI-Kompass: schriftliche Einschätzung zum Festpreis von 490 € (nur für Firmen).

So läuft es bei Ihnen

Simulation startet …

Illustration, kein echter Testlauf

Was es Ihnen bringt

Was es Ihnen bringt

  1. 01Viele Anfragen gleichzeitig mit hohem Durchsatz bedienen
  2. 02OpenAI-kompatible API, vorhandene Clients funktionieren
  3. 03Offene Modelle direkt von Hugging Face laden

Für Sie, wenn …

  • Teams, die offene Modelle auf eigenen GPUs betreiben
  • Entwickler, die eine eigene KI-API aufsetzen wollen

Wählen Sie lieber etwas anderes, wenn …

  • Wer nur auf Laptop oder Mac testen will – nimm Ollama oder llama.cpp

So starten Sie

In drei Schritten.

Was Sie brauchen
  • Linux
  • Leistungsfähige GPU
  • Python-Kenntnisse
  • Erfahrung mit Servern
  1. 1Installiere auf einem Linux-Rechner mit GPU: pip install vllm
  2. 2Starte den Server mit vllm serve <modell-id> aus dem Hugging Face Hub
  3. 3Schick Anfragen an die OpenAI-kompatible API unter localhost:8000

Sicherheits-Check

4 von 5 Prüfungen bestanden

Keine bekannten Schadmuster in der Installationsanleitungaktiv gepflegtLizenz: Apache-2.0

Vertrauen 89
Wer steckt dahinter?
  • Von OROBO aus der offiziellen Quelle übernommen. Der Hersteller ist noch nicht bei OROBO.
Ist der Code sauber?
  • Quellcode öffentlich einsehbar
  • Lizenz: Apache-2.0
  • Keine bekannten Schadmuster in der Installationsanleitung
Wird es gepflegt?
  • Website erreichbar – lässt aber keine automatische Prüfung zu (kein Warnsignal)
  • Heute aktualisiert
Technische Details & was wir nicht prüfen

Wir prüfen automatisch: Herkunft, Quellcode-Muster, Lizenz, Pflege und Erreichbarkeit – täglich neu. Wir prüfen nicht, ob die Software zu Ihrem Zweck passt, wie sie mit Ihren Daten umgeht oder ob sie fehlerfrei arbeitet. Zuletzt geprüft vor 3 Stunden. So prüft OROBO

Alternativen fürs gleiche Ziel

TransformersSelbst bauen · Hugging FaceTausende offene KI-Modelle mit wenigen Zeilen CodeOpen SourceVertrauen hoch, 100Läuft offlineLangChainSelbst bauen · LangChainModelle, Werkzeuge und Daten zu einer KI-App verbindenOpen SourceVertrauen hoch, 97Für EntwicklerAI SDKSelbst bauen · VercelKI-Funktionen in deine Web-App, mit wenig CodeOpen SourceVertrauen hoch, 97Für EntwicklerReplitSofort nutzen · ReplitBeschreib deine App – Replit baut und hostet sieGratis-VersionVertrauen hoch, 100v0Sofort nutzen · VercelWeb-Apps aus einem Chat – Design, Code und DeploymentGratis-VersionVertrauen hoch, 100Für EntwicklerChat SDKAutomatisieren · VercelDeine eigene Chat-App, mit fertigem FundamentOpen SourceVertrauen hoch, 97Für EntwicklerBoltSofort nutzen · StackBlitzWebsites und Apps per Prompt im Browser bauenGratis-VersionVertrauen hoch, 94LovableSofort nutzen · LovableAus deiner Idee wird eine fertige Web-AppGratis-VersionEingeschränkt prüfbar · 2 PrüfungenFür Betriebe

Fakten

BereichSelbst bauen
PreisOpen Source
LizenzApache-2.0
Läuft aufLinux
Beliebt bei Entwicklern★ 96.382 GitHub
Zuletzt aktualisiert05. Nov. 2026
Quellcodevllm-project/vllm ↗
Websitedocs.vllm.ai ↗
Ich bin der Hersteller