摘要: 一、排序:按照key2进行排序 1、数字的排序 2、字符串的排序 3、对象的排序: 实现WritableComparable接口 (1)序列化 (2)可被排序 员工数据 Employee.java 作为key2输出 复习SQL:order by 后面 + 列名、表达式、别名、序号 desc desc 阅读全文
posted @ 2018-02-09 15:41 好奇的小码农 阅读(469) 评论(0) 推荐(0) 编辑
摘要: 1、Demo:WordCount单词计数 /root/training/hadoop 2.7.3/share/hadoop/mapreduce/hadoop mapreduce examples 2.7.3.jar 执行: hadoop jar hadoop mapreduce examples 2 阅读全文
posted @ 2018-02-09 15:39 好奇的小码农 阅读(202) 评论(0) 推荐(0) 编辑
摘要: 1、Demo:WordCount单词计数 /root/training/hadoop 2.7.3/share/hadoop/mapreduce/hadoop mapreduce examples 2.7.3.jar 执行: hadoop jar hadoop mapreduce examples 2 阅读全文
posted @ 2018-02-09 15:37 好奇的小码农 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 1、准备环境:安装一个MySQL数据库 数据库的连接池 返回的Connection,不是真正的Connection,而是一个代理对象 准备环境:安装一个MySQL数据库 在虚拟机上安装MySQL: yum remove mysql libs rpm ivh mysql community co 阅读全文
posted @ 2018-02-09 15:35 好奇的小码农 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 第五章:HDFS 一、操作HDFS 1、Web Console:端口50070 2、命令行:有两种类型 3、Java API 二、HDFS输出数据的原理(画图):比较重要 1、数据上传的原理(过程) 2、数据下载的原理(过程) 缓存元信息的内存:1000M /root/training/hadoop 阅读全文
posted @ 2018-02-09 15:30 好奇的小码农 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 第五章:HDFS 一、操作HDFS 1、Web Console:端口50070 2、命令行:有两种类型 (1)普通操作命令: hdfs dfs 命令 mkdir:在HDFS上创建目录 hdfs dfs mkdir /aaa hdfs dfs mkdir /bbb/ccc 如果父目录不存在,使用 p参 阅读全文
posted @ 2018-02-09 15:12 好奇的小码农 阅读(187) 评论(0) 推荐(0) 编辑
摘要: 第二章 一、搭建Hadoop的全分布模式 1、三台机器:bigdata12 bigdata13 bigdata14 2、每台机器准备工作:安装JDK、关闭防火墙、设置主机名 systemctl stop firewalld.service systemctl disable firewalld.se 阅读全文
posted @ 2018-02-09 15:11 好奇的小码农 阅读(280) 评论(0) 推荐(0) 编辑
摘要: 一、Google的基本思想 1、GFS 2、MapReduce:计算模型,进行大数据计算 问题的来源:PageRank(网页排名) 核心:先拆分,再合并 3、BigTable:大表,NoSQL数据库:HBase 基于HDFS之上的NoSQL数据库、列式数据库 表 目录 数据 文件 思想:通过牺牲存储 阅读全文
posted @ 2018-02-09 15:06 好奇的小码农 阅读(1196) 评论(0) 推荐(0) 编辑
摘要: 目的:1、Hadoop学习内容 2、熟悉一些名词 阅读全文
posted @ 2018-02-09 14:00 好奇的小码农 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 实验环境: 1、Linux操作系统 2、Hadoop的介质 3、Spark的介质 学习路线和课程简介: 1、基础:Java语言:Java基础(Java SE):变量 类型 循环 if 面向对象:类、封装、集成、多态 I/O:输入流、输出流 反射、泛型 JDBC: 操作关系型数据库 Linux基础 大 阅读全文
posted @ 2018-02-09 12:55 好奇的小码农 阅读(124) 评论(0) 推荐(0) 编辑