09 2019 档案

Hive的下载安装，以及配置mysql作为元数据库
摘要：hive下载地址： http://www.apache.org/dyn/closer.cgi/hive/ 安装部署： 解压hive源程序： 配置环境变量： 保存退出后，运行source ~/.bashrc使配置立即生效。 修改/usr/local/hive/conf下的hive-site.xml 将 阅读全文
posted @ 2019-09-04 19:57 但为君故。 阅读(1224) 评论(0) 推荐(0)
Hadoop实例之寻找博客中共同好友
摘要：以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） 求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？ 首先要求出A、B、C、….等是谁的好友 该段程序运行完成后，得到的结果应为： 接下来来进行第二步，得到哪些人两两之间有共同好友，及他俩的共同好友都 阅读全文
posted @ 2019-09-03 21:02 但为君故。 阅读(607) 评论(0) 推荐(0)
Hadoop实例之Java代码实现利用MapReduce求π值
摘要：需求：假如有一个边长为1的正方形。以正方形的一个端点为圆心，以1为半径，画一个圆弧，于是在正方形内就有了一个直角扇形。在正方形里随机生成若干的点，则有些点是在扇形内，有些点是在扇形外。正方形的面积是1，扇形的面积是0.25*Pi。设点的数量一共是n，扇形内的点数量是nc，在点足够多足够密集的情况下， 阅读全文
posted @ 2019-09-03 20:37 但为君故。 阅读(815) 评论(0) 推荐(0)
Hadoop实例之利用MapReduce实现日志清洗（附源代码）
摘要：通过hadoop的分布式文件系统与MR完成日常日志文件的数据处理，以求达到数据清洗的目的。 日志数据格式： 27.19.74.143 - - [30/Mar/2015:17:38:20 +0800] "GET /static/image/common/faq.gif HTTP/1.1" 200 11 阅读全文
posted @ 2019-09-02 20:45 但为君故。 阅读(795) 评论(0) 推荐(0)
Hadoop实例之利用MapReduce实现Wordcount单词统计 (附源代码)
摘要：大致思路是将hdfs上的文本作为输入，MapReduce通过InputFormat会将文本进行切片处理，并将每行的首字母相对于文本文件的首地址的偏移量作为输入键值对的key，文本内容作为输入键值对的value，经过在map函数处理，输出中间结果<word,1>的形式，并在reduce函数中完成对每个 阅读全文
posted @ 2019-09-02 20:43 但为君故。 阅读(1986) 评论(0) 推荐(0)
Linux系统下Hadoop运行环境搭建
摘要：1.安装ssh免密登录 命令：ssh-keygen overwrite(覆盖写入)输入y 一路回车 将生成的密钥发送到本机地址 ssh-copy-id localhost （若报错命令无法找到则需要安装openssh-clients） yum –y install openssh-clients 测 阅读全文
posted @ 2019-09-02 19:00 但为君故。 阅读(8817) 评论(0) 推荐(0)
kettle的安装与连接mysql(包含mysql8)简单使用,
摘要：kettle安装下载地址： 官网地址： https://community.hitachivantara.com/s/article/data-integration-kettle 下载地址： https://sourceforge.net/projects/pentaho/files/ kettl 阅读全文
posted @ 2019-09-01 20:23 但为君故。 阅读(19552) 评论(1) 推荐(1)