2018年5月23日
ETL过程跑完后，使用python发送邮件
摘要： 目标库中，如果有行数为0的表，使用python发送邮件 放到到服务器运行可能错误： 报错一： UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128) 1、原因 阅读全文
posted @ 2018-05-23 22:56 像我这种两三⑩岁的人 阅读(514) 评论(0) 推荐(0) 编辑
python脚本 用sqoop把mysql数据导入hive
摘要： 转：https://blog.csdn.net/wulantian/article/details/53064123 用python把mysql数据库的数据导入到hive中，该过程主要是通过python语言操作sqoop. 阅读全文
posted @ 2018-05-23 22:46 像我这种两三⑩岁的人 阅读(2520) 评论(0) 推荐(0) 编辑
2018年5月22日
在 IDEA中运行 WordCount
摘要： 一、新建一个maven项目 二、pom.xml 中内容 三、准备数据文件 注意点：因为Windows当前用户是 Administrator ，所以需要在 hdfs://master:8020/user/ 目录下创建文件夹 Administrator ，以后进行本地测试都使用此文件夹。 文件夹创建好之 阅读全文
posted @ 2018-05-22 00:52 像我这种两三⑩岁的人 阅读(2275) 评论(1) 推荐(0) 编辑
2018年5月21日
Windows下配置eclipse写WordCount
摘要： 1 下载插件 hadoop-eclipse-plugin-2.7.2.jar github上下载源码后需要自己编译。这里使用已经编译好的插件即可 2 配置插件 把插件放到..\eclipse\plugins目录下，重启eclipse，配置Hadoop installation directory ， 阅读全文
posted @ 2018-05-21 18:44 像我这种两三⑩岁的人 阅读(271) 评论(0) 推荐(0) 编辑
2018年5月20日
Ubuntu16下Hive 安装
摘要： 0.安装环境和版本 Ubuntu16，hadoop版本是2.7.2 ，选择Hive版本为 hive-2.1.17 1. Hive安装包下载 地址： https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 2.上传到服务器后解压 3.配置 添加以下内容： 保 阅读全文
posted @ 2018-05-20 22:25 像我这种两三⑩岁的人 阅读(225) 评论(0) 推荐(0) 编辑
Ubuntu16下Hadoop安装
摘要： 1. 安装Ubuntu 2. 新装Ubuntu常用软件安装和系统设置 (1) 安装vim yum install vim (2) 更改hostname为hadoop_master sudo vim /etc/hostname (3) 关闭防火墙 sudo ufw disable (4) 安装rz s 阅读全文
posted @ 2018-05-20 22:24 像我这种两三⑩岁的人 阅读(479) 评论(0) 推荐(0) 编辑