上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 48 下一页
摘要: 1-数据仓库的基本特征 2-数据仓库和数据库的区别 3-数据仓库分层和元数据管理 4-Hive的基本介绍 5-Hive的架构 6-Hive和Hadoop及RDBMS关系 7-Hive的安装-Mysql安装 8-Hive的安装-Hive配置 hive-site.xml <?xml version="1 阅读全文
posted @ 2020-04-02 17:24 Curedfisher 阅读(142) 评论(0) 推荐(0) 编辑
摘要: MapReduce任务 计数器 org.apache.hadoop.mapreduce.TaskCounter 文件系统计数器 org.apache.hadoop.mapreduce.FileSystemCounter FileInputFormat 计数器 org.apache.hadoop.ma 阅读全文
posted @ 2020-04-01 18:15 Curedfisher 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 12-MapReduce运行机制-Map阶段 15-MapReduce-Reduce端join操作-步骤分析 利用MapReduce来模拟数据中的连表查询 orders.txt 1001,20150710,p0001,21002,20150710,p0002,31002,20150710,p0003 阅读全文
posted @ 2020-04-01 11:49 Curedfisher 阅读(134) 评论(0) 推荐(0) 编辑
摘要: Maven项目在打jar包时,报错提示:[ERROR] No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK? 报错的提示已经讲得很清楚,当前运行的环境为JRE, 阅读全文
posted @ 2020-04-01 09:07 Curedfisher 阅读(325) 评论(0) 推荐(0) 编辑
摘要: 1-MapReduce-计数器 SortMapper.java package com.mapreduce_sort; import java.io.IOException; import org.apache.hadoop.io.LongWritable;import org.apache.had 阅读全文
posted @ 2020-03-31 09:51 Curedfisher 阅读(236) 评论(0) 推荐(0) 编辑
摘要: Hadoop Day 03 1. MapReduce 介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思 想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。 Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可 阅读全文
posted @ 2020-03-30 21:04 Curedfisher 阅读(235) 评论(0) 推荐(0) 编辑
摘要: Host-Only Host-only 仅主机模式 1,虚拟机网络设置 配置虚拟机的网络设置为hostonly 2,虚拟软件网络设置 选择vmware - 编辑 – 虚拟机网络编辑器 3,配置虚拟软件中vmnet1的IP 为VMnet1选择一个网段,不修改0号ip地址。 4,查看win7 VMnet 阅读全文
posted @ 2020-03-30 11:06 Curedfisher 阅读(667) 评论(0) 推荐(0) 编辑
摘要: 从HDFS页面下载文件时,报错 点击Download之后,地址解析错误 问题解决将Linux服务器上的 /etc/hosts文件中的集群信息,添加到本地hosts文件中C:\Windows\System32\drivers\etc\hosts1 重新在HDFS页面上下载数据 下载完成。。 阅读全文
posted @ 2020-03-30 09:07 Curedfisher 阅读(1250) 评论(0) 推荐(0) 编辑
摘要: 13-MapReduce排序-流程分析1-MapReduce介绍 2-MapReduce的构思和框架结构 3-MapReduce的编程规范 4-MapReduce案例-wordcount-步骤分析 5-MapReduce案例-wordcount-准备工作 6-MapReduce案例-wordcoun 阅读全文
posted @ 2020-03-27 15:27 Curedfisher 阅读(163) 评论(0) 推荐(0) 编辑
摘要: Hadoop 02 核心介绍 1. HDFS HDFS(Hadoop Distributed File System) 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB 阅读全文
posted @ 2020-03-27 09:54 Curedfisher 阅读(245) 评论(0) 推荐(0) 编辑
上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 48 下一页