提交需求

vLLM

作者 vLLM Project

Serve your own language model as a fast API

High-throughput serving engine for LLMs — for running your own AI infrastructure.

开源信任 89适合专业人士可离线运行Linux
通过 OROBO 获取

已检测来源github.com/vllm-project/vllm许可证:Apache-2.0检测于 3小时前GitHub 为每个发布文件提供 SHA-256 校验和。

不想自己配置?交给我们部署:请 OROBO 部署或先选择AI 指南针:书面评估,固定价格 490 欧元(仅面向企业)。

它如何为您运行

模拟启动中 …

示意图,非真实测试运行

您将获得

您将获得

  1. 01Handle many requests at once with high throughput
  2. 02OpenAI-compatible API that works with existing clients
  3. 03Load open models straight from Hugging Face

适合您,如果……

  • Teams running open models on their own GPUs
  • Developers setting up their own AI API

建议选择其他软件,如果……

  • Just testing on a laptop or Mac? Try Ollama or llama.cpp

如何开始

三步搞定。

您需要准备
  • Linux
  • A capable GPU
  • Python skills
  • Server experience
  1. 1On a Linux machine with a GPU, install with pip install vllm
  2. 2Start the server with vllm serve <model-id> from the Hugging Face Hub
  3. 3Send requests to the OpenAI-compatible API at localhost:8000

安全检测

通过 4/5 项检测

安装说明中未发现已知恶意模式积极维护中许可证:Apache-2.0

信任 89
背后是谁?
  • 由 OROBO 从官方来源收录。创作者尚未加入 OROBO。
代码干净吗?
  • 源代码公开可见
  • 许可证:Apache-2.0
  • 安装说明中未发现已知恶意模式
有在维护吗?
  • 网站可访问,但不允许自动检测(不是警示信号)
  • 今天已更新
技术细节与我们不检测的内容

我们自动检测来源、代码模式、许可证、维护和可访问性——每天重新检测。我们不检测软件是否适合您的用途、如何处理您的数据,或是否运行无误。 最近检测 3小时前. OROBO 如何检测

信息

领域自己动手构建
价格开源
许可证Apache-2.0
运行环境Linux
深受开发者欢迎★ 9.6万 GitHub
最近更新2026年11月05日
来源vllm-project/vllm ↗
网站docs.vllm.ai ↗
我是制造商