AI

Pythonでデータワークフローを構築・監視

Prefectは、Pythonで耐障害性の高いデータパイプラインを構築するためのオープンソースのワークフローオーケストレーションフレームワークです。通常のPython関数にデコレータを付けるだけでフローとして扱える手軽さが最大の特徴で、Airflowに比べて学習コストが低く、動的なワークフローも自然に書けます。リトライ、キャッシュ、スケジューリング、イベント駆動実行、通知などの運用機能を備え、UIから実行状況を監視できます。セルフホスト可能なPrefect Serverとマネージド版のPrefect Cloudから選べます。Pythonに慣れたデータチームがETLやML処理の信頼性を高めたい場合に向いており、Airflowの複雑さを避けたいスタートアップや小規模チームにとって有力な代替となります。Apache-2.0ライセンスです。

関連トピック

automationdatadata-engineeringdata-opsdata-scienceinfrastructureml-opsobservabilityorchestrationpipelineprefectpythonworkflowworkflow-engine

prefectの解説記事

コメント(0

コメントするにはログインしてください。

同じカテゴリのOSS

Let's Build Together

OSS導入、自社だけで悩まない。

ツール選定から構築・運用・AI活用まで、オープンソースラボ運営元のClasslessが伴走します。初回のご相談は無料です。