datax写hdfs
摘要：
设置datax java 堆栈内存大小python datax.py --jvm="-Xms5G -Xmx5G" 编译插件mvn -U clean package assembly:assembly -Dmaven.test.skip=true 阅读全文
posted @ 2020-08-12 15:02 Zhearts 阅读(450) 评论(0) 推荐(0) 编辑
自己生成了分区文件，hive建立LOCATION 后查不出数据
摘要：
这个情况是hive不去检查已经分区的内容也就是分区在hive元空间中未注册； 那么MSCK REPAIR TABLE tablename 就可以解决这个问题 另外，动态分区参数 SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.p 阅读全文
posted @ 2020-05-26 15:51 Zhearts 阅读(958) 评论(0) 推荐(0) 编辑
airflow dag 运行 远程调度命令 特如 sshpass
摘要：
有时需要在airflow中运行如sshpass远程免密登录调度指令的 所需元素 1、包：from airflow.contrib.operators.ssh_operator import SSHOperator 2、bash sh_bash = ''' sshpass -p ‘XXXXXX’ ss 阅读全文
posted @ 2020-05-26 15:11 Zhearts 阅读(931) 评论(0) 推荐(0) 编辑
AWS现阶段版本HUE页面存在诸多问题多集中于对hdfs文件的操作
摘要：
存在问题主要集中在对hdfs文件的上传、下载、转移等操作；其中对配置文件进行了确认不存在问题， 初步估计主要在底层封装hadoop 命令这块存在着问题。 现在AWS正在升级，新版本将在5月底完成，届时可以用新版本。 阅读全文
posted @ 2020-05-21 15:05 Zhearts 阅读(209) 评论(0) 推荐(0) 编辑
ubuntu中安装Sqlserver客户端
摘要：
1、至ftp://ftp.unixodbc.org/pub/unixODBC/页面下载比较新的unixODBC-2.3.7.tar.gz 在你所选的目录下进行解压 tar -zxvf unixODBC-2.3.7.tar.gz cd unixODBC-2.3.7 ./configure --pref 阅读全文
posted @ 2020-05-06 20:22 Zhearts 阅读(1288) 评论(0) 推荐(0) 编辑
在sqlchemy使用create_engine连接oracle时出现(cx_Oracle.DatabaseError) ORA-12504: TNS: 监听程序在 CONNECT_DATA 中未获得 SERVICE_NAME
摘要：
结局方法 将create_engine("oracle+cx_oracle://账号 :密码@ip:端口 /service name", **engine_kwargs) 阅读全文
posted @ 2020-05-05 20:51 Zhearts 阅读(1172) 评论(0) 推荐(0) 编辑
ubuntu创建oracle客户端
摘要：
出现这样的问题oracle一直报错64-bit Oracle Client library cannot be loaded: "libclntsh.so: cannot open shared object file 未安装异步io，未建立软连接，未配置好环境变量 因此在常规（以12.2为例子）的 阅读全文
posted @ 2020-05-05 20:46 Zhearts 阅读(307) 评论(0) 推荐(0) 编辑
关于使用docker部署jupyterhub后jovyan（admin）账号的密码
摘要：
最近楼主在aws上拉了hdoop集群，其中有装jupyterhub， 发现登录jupyter不知账号和密码，研究发现在/etc/jupyter/conf目录下 的jupyterhub_config.py中 c.Authenticator.admin_users = {'jovyan'} 发现主账号， 阅读全文
posted @ 2020-04-24 00:00 Zhearts 阅读(3904) 评论(1) 推荐(0) 编辑
airflow 分布式部署讨论
摘要：
楼主在这整了一段时间，部署了一个airflow分布式部署。两台机器 一个scheduler worker 另外一个worker；正常启动安装两台在相同用户相同路径下相同版本的airflow数据库使用mysql、消息broker使用redis，backend使用mysql；注意要点：时区、页面缓存、双 阅读全文
posted @ 2020-04-21 00:51 Zhearts 阅读(1018) 评论(5) 推荐(0) 编辑
airflow worker 出现 (2006, 'MySQL server has gone away')以及raise AirflowException('Celery command failed')airflow 设置分布式部署主从worker不能协调运行
摘要：
OperationalError: (_mysql_exceptions.OperationalError) (2006, 'MySQL server has gone away')[SQL: SELECT celery_taskmeta.id AS celery_taskmeta_id, cele 阅读全文
posted @ 2020-04-21 00:27 Zhearts 阅读(921) 评论(1) 推荐(0) 编辑
