2017年7月27日

Hadoop 2.x简介

摘要: Hadoop 2.0产生背景 Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题 NameNode单点故障,难以应用于在线场景 NameNode压力过大,且内存受限,影响系统扩展性 MapReduce存在的问题 JobTracker访问压力大,影响系统 阅读全文

posted @ 2017-07-27 23:42 嘣嘣嚓 阅读(482) 评论(0) 推荐(0) 编辑

2017年7月18日

HDFS简介

摘要: 1.HDFS介绍 HDFS 为了做到可靠性( reliability ) 创建了多份数据块(data blocks)的复制(replicas) ,并将它们放置在服务器群的计算节点中(compute nodes),MapReduce就可以在它们所在的节点上处理这些数据了。 1.1.HDFS结构 Nam 阅读全文

posted @ 2017-07-18 23:45 嘣嘣嚓 阅读(484) 评论(0) 推荐(0) 编辑

2017年7月5日

Exception in thread "main" java.io.IOException: Mkdirs failed to create /var/folders/q0/1wg8sw1x0dg08cmm5m59sy8r0000gn/T/hadoop-unjar6090005653875084137/META-INF/license at org.apache.hadoop.util.Run

摘要: 在使用hadoop运行jar时出现。 解决方法 完美解决。 阅读全文

posted @ 2017-07-05 17:12 嘣嘣嚓 阅读(1036) 评论(0) 推荐(0) 编辑

2017年6月6日

Hive创建内部表、外部表

摘要: 使用hive需要hive环境 启动Hive 进入HIVE_HOME/bin,启动hive 内部表 建表 创建完成后使用 show tables; 查看是否创建成功. hive> show tables; OK fz Time taken: 0.043 seconds, Fetched: 9 row( 阅读全文

posted @ 2017-06-06 13:56 嘣嘣嚓 阅读(57286) 评论(0) 推荐(3) 编辑

2017年6月5日

Mac下配置Hive环境

摘要: 在配置Hive环境之前,需要Hadoop环境。 安装Hive 点击下载 下载结束后,会有一个.tar文件,使用以下命令解压该文件。 tar -zxvf 要解压的tar包 解压完成后如下 修改Hive配置文件 在hive安装目录下的conf中,将所有后缀为.template的文件复制一遍,新文件名称只 阅读全文

posted @ 2017-06-05 17:43 嘣嘣嚓 阅读(2432) 评论(0) 推荐(1) 编辑

2017年6月4日

Mac下配置Hadoop环境

摘要: 下载Hadoop(我下载的是2.8.0版本) 点击此处下载 下载后,使用 解压tar包,解压完成后有这样一个文件出现 修改Hadoop的配置文件 需要修改的配置文件在Hadoop安装路径下的 etc/hadoop中 需要修改的文件包括 hadoop-env.sh core-site.xml hdfs 阅读全文

posted @ 2017-06-04 14:29 嘣嘣嚓 阅读(10818) 评论(3) 推荐(1) 编辑

2017年4月10日

Linux 查看CPU信息

摘要: Linux查看CPU信息的命令 结果 阅读全文

posted @ 2017-04-10 09:52 嘣嘣嚓 阅读(600) 评论(0) 推荐(0) 编辑

2017年3月27日

Shiro-自定义realm

摘要: Shiro自定义 realm 阅读全文

posted @ 2017-03-27 11:16 嘣嘣嚓 阅读(481) 评论(0) 推荐(0) 编辑

2017年3月23日

Shiro 集成 Web

摘要: Web 集成 Shiro 的练习项目。 Servlet + Shiro 项目结构 新建Maven项目,pom配置如下 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSch 阅读全文

posted @ 2017-03-23 14:47 嘣嘣嚓 阅读(280) 评论(0) 推荐(0) 编辑

2017年3月22日

Shiro-Permissions 对权限的深入理解

摘要: 单个权限 query单个资源多个权限 user:query user:add 多值 user:query,add单个资源所有权限 user:query,add,update,delete user:*所有资源单个权限 *.view 实例级别的权限控制单个实例的单个权限 printer:query:l 阅读全文

posted @ 2017-03-22 21:59 嘣嘣嚓 阅读(276) 评论(0) 推荐(0) 编辑

导航