博客
关于我
Azkaban简介
阅读量:243 次
发布时间:2019-03-01

本文共 507 字,大约阅读时间需要 1 分钟。

Azkaban简介

一、Azkaban 介绍

1.1 背景

一个完整的大数据分析系统必然由多个任务单元组成,包括数据收集、数据清洗、数据存储、数据分析等。这些任务单元及其依赖关系构成复杂的工作流。工作流管理涉及诸多问题:如何定时调度任务?如何在任务完成后自动执行下一步?任务失败时如何发出预警?这些问题的解决催生了工作流调度系统,而Azkaban正是其中之一。

1.2 功能

Azkaban由LinkedIn开发并经过多年生产环境验证,具备以下功能:

  • 兼容任何版本的Hadoop
  • 易于使用的Web UI
  • 支持通过简单的Web页面上传工作流
  • 支持按项目独立管理
  • 定时任务调度
  • 模块化设计,支持插入自定义组件
  • 身份验证与权限控制
  • 用户操作跟踪
  • 支持失败和成功的电子邮件提醒
  • SLA警报与自动查杀失败任务
  • 支持任务重试

Azkaban注重功能与易用性结合,其Web UI界面简洁直观,用户体验良好。

二、Azkaban 和 Oozie

Azkaban与Oozie作为两大知名的开源工作流系统,各有优势。两者在功能上存在差异,同时也各有独特的设计理念和使用场景。了解这些差异有助于选择最适合的工具进行数据分析和工作流管理。

转载地址:http://ikxv.baihongyu.com/

你可能感兴趣的文章
OpenCV错误:在setSize中断言失败(s&>;=0)-尝试将图像放置在网络摄像头提要上时
查看>>
opencv面向对象设计初探
查看>>
OpenCV(1)读写图像
查看>>
OpenCV:不规则形状区域中每种颜色的像素数?
查看>>
OpenCV:概念、历史、应用场景示例、核心模块、安装配置
查看>>
OpenDaylight融合OpenStack架构分析
查看>>
OpenERP ORM 对象方法列表
查看>>
openEuler Summit 2022 成功举行,开启全场景创新新时代
查看>>
openEuler 正式开放:推动计算多样化时代的到来
查看>>
OpenEuler23.03欧拉系统_安装瀚高数据库企业版6.0.4_openeuler切换root用户_su:拒绝权限_passwd: 鉴定令牌操作错误---国产瀚高数据库工作笔记001
查看>>
OpenEuler23.03欧拉系统_安装瀚高数据库企业版6.0.4_踩坑_安装以后系统无法联网_启动ens33网卡---国产瀚高数据库工作笔记002
查看>>
OpenFeign 入门与实战
查看>>
OpenFeign源码学习
查看>>
OpenFeign的使用方式成功解锁
查看>>
OpenFeign组件声明式服务调用
查看>>
openfeign远程调用不起作用解决_使用Spring Boot的spring.factories进行注入---SpringCloud Alibaba_若依微服务框架改造---工作笔记007
查看>>
openfire开发(四)消息拦截器
查看>>
openfire源码解读之将cache和session对象移入redis以提升性能
查看>>
Openfire身份认证绕过漏洞复现+利用(CVE-2023-32315)
查看>>
OpenForest 开源项目安装与使用指南
查看>>