那山的狐狸 - 博客园

Hive建表和内外部表的使用

摘要：原文链接： https://www.toutiao.com/i6766784274965201415 一、普通建表方式 create table stu_info( id int, name string )ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' 阅读全文

posted @ 2020-03-20 00:24 那山的狐狸阅读(649) 评论(0) 推荐(0) 编辑

Hive的基本概念和常用命令

摘要：原文链接： https://www.toutiao.com/i6766571623727235595/?group_id=6766571623727235595 一、概念： 1、结构化和非结构化数据结构化数据：固有的键值对非结构数据：没有固定的键值对，没有明确的映射关系所以就可以理解下面这句话阅读全文

posted @ 2020-03-20 00:23 那山的狐狸阅读(480) 评论(0) 推荐(0) 编辑

java mapreduce二次排序

摘要：原文链接： https://www.toutiao.com/i6765808056191156748/ 目的：二次排序就是有下面的数据 a 3 a 1 a 100 c 1 b 2 如果只按照abc排序就会变成 a 3 a 1 a 100 b 2 c 1 我们希望是第二列也参与排序 a 1 a 3 阅读全文

posted @ 2020-03-20 00:09 那山的狐狸阅读(282) 评论(0) 推荐(0) 编辑

java mapreduce实现网站PV分析

摘要：原文链接： https://www.toutiao.com/i6765677128022229517/ PV 是Page Views的缩写，即页面浏览量，用户每一次对网站中的每个网页访问均被记录一次。注意，访客每刷新一次页面，pv就增加一次。我们目前的数据是：其中的数据我们会得到标注根据标注我阅读全文

posted @ 2020-03-20 00:07 那山的狐狸阅读(241) 评论(0) 推荐(0) 编辑

mapreduce实现数据去重

摘要：原文链接： https://www.toutiao.com/i6764933201203823107/ 概念："数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。数据去重的最终目标是让原始数据阅读全文

posted @ 2020-03-20 00:06 那山的狐狸阅读(695) 评论(0) 推荐(0) 编辑

Hadoop的Shuffle阶段

摘要：原文： https://www.toutiao.com/i6764683672772674062/ 在进入Map之前，首先会将数据从HDFS中读取，进行处理，按照字节偏移量这种之前说的形式处理为K,V对的形式，进入Map阶段。其中InputFormat可以认为是一种类的继承关系，最终通过调用rea 阅读全文

posted @ 2020-03-20 00:04 那山的狐狸阅读(207) 评论(0) 推荐(0) 编辑

Java实现单词统计

摘要：原文链接： https://www.toutiao.com/i6764296608705151496/ 单词统计的是统计一个文件中单词出现的次数，比如下面的数据源其中,最终出现的次数结果应该是下面的显示那么在MapReduce中该如何编写代码并出现最终结果？首先我们把文件上传到HDFS中(hd 阅读全文

posted @ 2020-03-20 00:03 那山的狐狸阅读(1250) 评论(0) 推荐(0) 编辑

SpringBoot学习笔记

摘要：笔记总结链接：SpringBoot学习笔记合集阅读全文

posted @ 2020-03-19 14:46 那山的狐狸阅读(144) 评论(0) 推荐(0) 编辑

Linux系统管理学习实训任务书

摘要： 1、《Linux系统管理实训任务一之搭建实验基础环境》 https://www.toutiao.com/i6763578305091207694/ 2、《Linux系统管理实训任务一之文本模式安装linux系统》 https://www.toutiao.com/i676359106909647719 阅读全文

posted @ 2020-02-26 14:34 那山的狐狸阅读(365) 评论(0) 推荐(0) 编辑

Java语言学习案例雷霆战机

摘要：源代码：https://url56.ctfile.com/f/34653256-574739561-8d17d8?p=7567 (访问密码: 7567) 1、Java雷霆战机学习笔记（一）-资源加载 https://www.toutiao.com/i6631331313259381255/ 2、Ja 阅读全文

posted @ 2020-02-26 14:25 那山的狐狸阅读(530) 评论(0) 推荐(0) 编辑