摘要:
恢复内容开始 @app.route('/') def index(): return '<h1>Hello world !<h1>' 路由:URL和函数之间的映射关系 index()为视图函数 定义可变动态路由 @app.route('/usr/<name>') def usr(name): ret 阅读全文
摘要:
1、Spring Cloud Alibaba 是什么 Spring Cloud Alibaba 是阿里巴巴提供的微服务开发一站式解决方案,是阿里巴巴开源中间件与 Spring Cloud 体系的融合。 马老师左手双十一,右手阿里开源组件,不仅占据了程序员的购物车,还要攻占大家的开发工具。 先说说 S 阅读全文
摘要:
. 错误描述airflow 被调度后,一直处于 running 状态假死,而且日志打印不完全,从某一行以下就不会打印日志了。 2. 错误原因经过查找源码中从这一行打印的日志来看,因为在日志里面输出了中文的字符串(包括中文的括号和分号以及冒号等),只要日志中包含中文字符,airflow 就无法将其打印 阅读全文
摘要:
from datetime import datetime, timedeltadef getBetweenDay(begin_date, end_date): date_list = [] begin_date = datetime.strptime(begin_date, "%Y-%m-%d") 阅读全文
摘要:
Airflow配置安装 1.安装前准备工作 安装版本说明 安装工具版本用途 Python 3.6.5 安装airflow及其依赖包、开发airflow的dag使用 MySQL 5.7 作为airflow的元数据库 Airflow 1.10.10 任务调度平台 2.安装Python3 #python依 阅读全文
摘要:
DataFrame基础 + 示例,为了自查方便汇总了关于PySpark-dataframe相关知识点,集合了很多篇博客和知乎内容,结合了自身实践,加上了更多示例和讲解方便理解,本文内容较多配合目录看更方便。 如有任何问题或者文章错误欢迎大家留言批评指正,感谢阅读。 什么是DataFrame? Dat 阅读全文
摘要:
数据工作框架 1、数据源 通过业务对象、规则与过程数字化,不断提升数据质量,建立清洁、可靠的数据源 2、数据湖 通过物理与虚拟入湖两种方式 汇聚内外部数据 3、主题数据联接 规划和驱动双驱动,建立主题联接,通过服务支撑数据消费 4、数据消费 对准数据消费场景,提供统一数据分析平台,满足 自助式数据消 阅读全文
摘要:
1. 坑 1、当一个tablet server被关闭超过一定的时间(默认5分钟),位于tablet server上的tablet会被移动到其它的tablet server 2、DataNode换个内存重启后,kudu的Tablet Server报错无法正常启动解决 >Tablet server 修改 阅读全文
摘要:
数据集成工具——DataX&DataX-Web_友培的博客-CSDN博客 阅读全文