バッチジョブの複雑なパイプラインを構築するのに役立つPythonモジュール
- ソフト名 : Luigi
- OS :
- 言語 : Python
- 開発者 : HOME
Luigi 詳細説明
Luigiは、バッチジョブの複雑なパイプラインを構築するのに役立つPython（3.6,3.7,3.8,3.9テスト済み）パッケージです。依存関係の解決、ワークフロー管理、視覚化、障害障害、コマンドライン統合などを処理します。Luigiの目的は、通常、長期間のバッチプロセスに関連付けられているすべての配管リングに対処することです。あなたは多くのタスクをチェーン化し、それらを自動化し、失敗が起こるでしょう。これらのタスクは何でもすることができますが、通常はHadoopジョブのようなものです。必要なタスクをかなりビルドすることができますが、Luigiには、使用するいくつかの一般的なタスクテンプレートのツールボックスが付属しています。それは、HadoopのPython MapReduce Jobs、ならびにハイブ、そして豚、仕事を実行するためのサポートが含まれています。また、HDFSのファイルシステムの抽象化にも付属しており、すべてのファイルシステム操作がアトミックであることを確認するローカルファイルが付属しています。