AI

データ資産指向のオーケストレーションツール

Dagsterは、「データ資産(アセット)」を中心に据えた設計が特徴のオープンソースのデータオーケストレーションプラットフォームです。タスクの実行順序ではなく、テーブルやモデルといった成果物を宣言的に定義することで、データの依存関係やリネージ(系譜)が自動的に可視化され、どのデータがいつ・どう作られたかを追跡しやすくなります。型チェックやテスト容易性などソフトウェアエンジニアリングの実践をデータパイプラインに持ち込んでおり、dbtとの統合も強力です。ローカル開発体験の良さにも定評があります。データ基盤の品質と可観測性を重視するデータエンジニアリングチームや、dbtを中核としたモダンデータスタックを運用する企業に向いています。Apache-2.0ライセンスで、マネージド版のDagster+もあります。

関連トピック

analyticsdagsterdata-engineeringdata-integrationdata-orchestratordata-pipelinesdata-scienceetlmetadatamlopsorchestrationpythonschedulerworkflowworkflow-automation

コメント(0)

コメントするにはログインしてください。

同じカテゴリのOSS

Let's Build Together

候補が見つかったら、導入条件を整理しよう。

実現したい業務、既存ツールとの連携、データの保管場所、保守を担う人。自社での選定・導入に迷ったら、運営元のClasslessへご相談ください。