promptfoo
制作: Promptfoo (OpenAI)
AI機能を通常のコードと同じようにテストします
プロンプトやエージェントを自動テストし、脆弱性を検査します。OpenAI傘下です。
検証済みの配布元github.com/promptfoo/promptfooライセンス:MIT検証 3 時間前GitHubの各リリースにSHA-256チェックサムがあります。
自分で設定せず、導入を任せる:OROBOに導入を依頼まずはAIコンパス:書面の評価、固定価格490ユーロ(法人のみ)。
ご利用イメージ
シミュレーション開始…
イメージ図(実際の実行ではありません)
得られるもの
得られるもの
- 01プロンプト、エージェント、RAGアプリを自動テストします
- 02レッドチーミングを手元のPCで実行します
- 03CIパイプラインに組み込めます
こんな方に
- AI機能を提供する開発者
- 自動テストを運用するチーム
別のものが合うのは
- 完成したAIアプリを使うだけの方
始め方
3ステップで。
必要なもの
- Node.jsまたはPython
- モデルやエンドポイントへのAPIアクセス
- 1npx promptfoo@latest redteam setupを実行します
- 2対象と攻撃の種類を選びます
- 3実行してブラウザでレポートを確認します
このパッケージに含まれます
promptfooはほかのソフトウェアと組み合わせて使えます。
安全チェック
7項目中6項目に合格 · 1 件の注意
インストール手順に既知の悪性パターンなし継続的に更新ライセンス:MIT
誰が作っている？
- OROBOが公式情報から掲載。制作者はまだOROBOに参加していません。
コードは安全？
- ソースコード公開
- ライセンス:MIT
- インストール手順に既知の悪性パターンなし
更新されている？
- サイトに到達可能
- 本日更新
技術的な詳細と検証しない項目
- サイトの表示が速い
- サイトの保護設定:6項目中2(サイトのみ)nosniff, Referrer-Policy
防御効果の記載はメーカーによるものです。信頼スコアは公開情報の確認で、有効性は評価しません。
出所、コードのパターン、ライセンス、更新状況、到達性を毎日自動で検証します。用途への適合性、データの扱い、動作の正確さは検証しません。 最終検証 3 時間前. OROBOの検証方法
同じ目的の代替
Snyk Agent Scan（旧Invariant MCP-Scan）安全にする · Snyk (ex-Invariant Labs team)インストール済みのMCPサーバーとスキルを検査しますオープンソース信頼 高い、100開発者向けCisco Skill Scanner安全にする · Cisco AI Defenseインストール前にエージェントスキルを検査しますオープンソース信頼 高い、100開発者向けDocker MCP Gateway安全にする · DockerMCPサーバーをコンテナで隔離して動かしますオープンソース信頼 高い、100開発者向けCisco MCP Scanner安全にする · Cisco AI Defense組み込む前にMCPサーバーを検査しますオープンソース信頼 高い、100開発者向けAkto安全にする · Akto社内のMCPサーバーとAPIを見つけて検査しますオープンソース信頼 高い、97開発者向けgarak安全にする · NVIDIA言語モデルにあえて攻撃を仕掛けますオープンソース信頼 高い、100開発者向けGuardrails AI安全にする · Guardrails AI (Harvey)AIの回答を次の処理に渡す前に検証しますオープンソース信頼 高い、100開発者向けNeMo Guardrails安全にする · NVIDIAチャットボットにしっかりしたガードレールを設けますオープンソース信頼 高い、100開発者向け
相性のいいソフトウェア
Ollama自分で作る · Ollamaコマンド一つで言語モデルをローカル実行オープンソース信頼 高い、97オフライン可Lakera Guard安全にする · Lakera (Check Point Software)AIが応答する前にプロンプト攻撃を止めます無料版あり信頼 高い、100企業向けCisco Skill Scanner安全にする · Cisco AI Defenseインストール前にエージェントスキルを検査しますオープンソース信頼 高い、100開発者向けReality Defender安全にする · Reality Defender Inc.音声、画像、動画のディープフェイクを見抜きます無料版あり信頼 高い、100初心者向け
基本情報
| エリア | 安全にする |
|---|---|
| 価格 | オープンソース |
| ライセンス | MIT |
| 対応環境 | Terminal, Python, Docker, macOS, Linux, Windows |
| 開発者の人気 | ★ 2.7万 GitHub |
| 最終更新 | 2026年11月05日 |
| ソース | promptfoo/promptfoo ↗ |
| ウェブサイト | promptfoo.dev ↗ |