AI

Pythonでデータワークフローを構築・監視

Prefectは、Pythonで耐障害性の高いデータパイプラインを構築するためのオープンソースのワークフローオーケストレーションフレームワークです。通常のPython関数にデコレータを付けるだけでフローとして扱える手軽さが最大の特徴で、Airflowに比べて学習コストが低く、動的なワークフローも自然に書けます。リトライ、キャッシュ、スケジューリング、イベント駆動実行、通知などの運用機能を備え、UIから実行状況を監視できます。セルフホスト可能なPrefect Serverとマネージド版のPrefect Cloudから選べます。Pythonに慣れたデータチームがETLやML処理の信頼性を高めたい場合に向いており、Airflowの複雑さを避けたいスタートアップや小規模チームにとって有力な代替となります。Apache-2.0ライセンスです。

関連トピック

automationdatadata-engineeringdata-opsdata-scienceinfrastructureml-opsobservabilityorchestrationpipelineprefectpythonworkflowworkflow-engine

prefectの解説記事

コメント(0)

コメントするにはログインしてください。

同じカテゴリのOSS

Let's Build Together

候補が見つかったら、導入条件を整理しよう。

実現したい業務、既存ツールとの連携、データの保管場所、保守を担う人。自社での選定・導入に迷ったら、運営元のClasslessへご相談ください。