随笔分类 - Airbnb
摘要：1.安装impyla pip install impyla 2.在superset页面配置如下,此时impala是有kerberos认证的 impala://xxxx:xx/default?auth_mechanism=GSSAPI&kerberos_service_name=impala 如果遇到
阅读全文
摘要：1.只执行单个任务 将downstream和recursive按钮的点击状态取消，然后点击clear，最后选择Ignore All Deps，然后点击run 2.从一个任务开始，执行它以及它的下游任务 将downstream和recursive按钮的点击状态取消，然后点击clear，最后选择Igno
阅读全文
摘要：1.在uri中配置 hive://localhost:10000/default 2.查询 3.如果你的hive集群是带有kerberos认证的,hive数据源需要这样配置 hive://xxx:xxx/default?auth=KERBEROS&kerberos_service_name=hive
阅读全文
摘要：1.添加mysql数据源 测试连接的时候遇到 安装mysqlclient 如果遇到 安装 添加mysql的url 测试ok
阅读全文
摘要：Superset 是Airbnb 开源的大数据可视化平台 其支持的datasource https://superset.incubator.apache.org/index.html?highlight=datasource 类似的开源项目Zeppelin所支持的datasource https:
阅读全文
摘要：1.安装apache-airflow 1.8.0 服务器使用的是centos系统，需要安装好pip和setuptools，同时注意更新安装的版本 接下来参考安装好Airflow Airflow 1.8 工作流平台搭建 http://blog.csdn.net/kk185800961/article/
阅读全文
摘要：airflow分布式部署所依赖的组件有mysql，redis，web-server，scheduler，worker等，可以将这些组件部署在不同的机器上，来减低单台机器的压力 单机安装请参考：Ubuntu16.04安装apache-airflow 然后在不同的机器上启动不同的组件 airflow w
阅读全文
摘要：DAG参数含义 https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/models/dag/index.html
阅读全文
摘要：operator用于产生特定的DAG节点 https://airflow.apache.org/docs/apache-airflow/stable/python-api-ref.html#operators 下面是常用的operator及其用法 BaseOperator https://airfl
阅读全文
摘要：sensor也是airflow的一种operator，用于检测某个条件是否达到。如果条件满足，sensor将会执行成功；如果条件不满足，sensor将会重试，直到超时，task超时的时候状态就位skipped。 下面是常用的几种sensor： The FileSensor: Waits for a
阅读全文
