airflow
ワークフロー自動化データパイプラインの定番ワークフローエンジン
Apache Airflowは、ワークフローをPythonコードで定義し、スケジュール実行・監視するためのオープンソースプラットフォームで、データパイプライン基盤のデファクトスタンダードです。処理の依存関係をDAG(有向非巡回グラフ)として記述し、Web UIから実行状況の確認、リトライ、ログ閲覧ができます。豊富なプロバイダーパッケージによりAWS、GCP、Snowflake、dbtなど数百のサービスと連携でき、コミュニティとエコシステムの規模は圧倒的です。Airbnb発でApacheソフトウェア財団により運営されています。ETL/ELTやMLパイプラインを安定運用したいデータエンジニアリングチームに向いており、各クラウドのマネージドサービス(MWAA、Cloud Composerなど)も存在するため移行パスも豊富です。
関連トピック
airflowの解説記事
コメント（0）
コメントするにはログインしてください。
同じカテゴリのOSS
n8n
ノードベースで業務を自動化するZapier代替の筆頭
spec-kit
💫 Toolkit to help you get started with SDD or any other process!
orca
Orca is the place for working with a fleet of agents (e.g. Grok Bot, Claude Code). Run any coding agent with your own subscription. Available on desktop, mobile and remote runtime.
huginn
自分専用のエージェントを作る老舗自動化ツール
conductor
耐障害性の高いイベント駆動エージェントワークフローエンジン
kestra
宣言型のイベント駆動オーケストレーション基盤