promptfoo
LLM開発ツールプロンプトのテスト・評価ツール
promptfooは、プロンプトやエージェント、RAGシステムをテスト・評価するためのオープンソースツールです。YAMLの宣言的な設定でテストケースを定義し、GPT、Claude、Geminiなど複数モデルの出力品質を並べて比較できます。CI/CDに組み込めば、プロンプト変更による品質低下(リグレッション)をデプロイ前に検知できます。さらにレッドチーミング機能を備え、プロンプトインジェクションや有害出力などAI特有の脆弱性スキャンも実行できる点が特徴です。OpenAIやAnthropicでも利用されていると公表されています。LLMアプリの品質を継続的に担保したい開発チームや、AIシステムのセキュリティ検証が必要な企業に向いています。MITライセンスでローカル実行でき、データが外部に送信されない点も安心です。
関連トピック
コメント（0）
コメントするにはログインしてください。
同じカテゴリのOSS
rea
Reverse engineer anything with agents, from app behavior down to native binaries.
hermes-agent
ユーザーと共に成長するAIエージェント（Nous Research製）
OpenCode
The open source coding agent.
firecrawl
WebをLLM向けに検索・スクレイピングするAPI
ponytail
Makes your AI agent think like the laziest senior dev in the room. The best code is the code you never wrote.
transformers
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.