摘要：
Q&A Notice Mysql安装遇见问题： error: Failed dependencies: MySQL conflicts with mysql-5.1.71-1.el6.x86_64 解决办法 ps aux | grep mysql kill -9 进程号 mysql的相关命令是 /e 阅读全文
摘要：
Spark的搭建 安装Scala 由于Scala只是一个应用软件，只需要安装在master节点即可。 上传scala安装包 /bigdata/packet/scala-2.11.8 解压scala安装包 tar -zxvf scala-2.11.8.tgz -C /bigdata 环境变量配置（三台 阅读全文
摘要：
一、系统环境 Centos MongoDB 关闭防火墙 | 192.168.174.131 | 192.168.174.132 | 192.168.174.133 | | | | | | mongos | mongos | mongos | | config server | config serv 阅读全文
摘要：
Hive笔记 hive的存储格式： 1 textfile 没有压缩，但是比较占用存储空间。读取效率最高 2 rcfile 有压缩，空间占用小。 比较节省空间。 3 SequenceFile 适合小文件存储。 hive和hdfs的关系： hive的存储是基于hdfs的，在hive中创建一个库，实际上就 阅读全文
摘要：
Hive安装 首先安装MySQL 1、查看mysql的依赖 rpm -qa | grep mysql 2、删除mysql的依赖 rpm -e --nodeps `rpm -qa | grep mysql` rpm -e --nodeps `rpm -qa | grep MySQL` 3、离线安装my 阅读全文
摘要：
Hbase Shell的用法 whoami 我是谁 whoami version 返回hbase版本信息 version status 返回hbase集群的状态信息 status table_help 查看如何操作表 table_help create 创建表 create ‘表名’, ‘列族名1’ 阅读全文
摘要：
安装hbase 1．解压缩hbase的软件包，使用命令： tar -zxvf hbase-1.3.0-bin.tar.gz 2．进入hbase的配置目录，在hbase-env.sh文件里面加入java环境变量.即： export JAVA_HOME=/bigdata/jdk1.8.0_121 #关闭 阅读全文
摘要：
MapReduce 上图是MapReduce的任务处理过程 概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点 阅读全文
摘要：
HDFS shell操作 配置hadoop环境变量 vi /etc/profile export HADOOP_HOME=/usr/local/soft/hadoop-2.6.0 export PATH=.:\$JAVA_HOME/bin:\$HADOOP_HOME/bin:$PATH 然后执行 s 阅读全文
摘要：
HADOOP 相关知识 Hadoop的优势 ⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。 ⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 ⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡 阅读全文
摘要：
一．选题 1.1 背景 从 1934 年到 1963 年，旧金山因将一些世界上最臭名昭著的罪犯关押在无法逃脱的岛而臭名昭著恶魔 。 今天，这座城市以其科技场景而闻名，而不是它的犯罪历史。但是，随着财富不平等的加剧、住房短缺以及乘坐 BART 上班的昂贵数字玩具的激增，海湾边的城市并不缺乏犯罪。 从 阅读全文
摘要：
首先需要安装一个新的jdk 然后修改环境变量里面的JAVA_HOME 然后复制新的jdk/bin里面的java.exe/javaw.exe/javaws.exe到C:\Windows\System32 注意修改regedit中的注册表的信息HKEY_LOCAL_MACHINE\Software\Ja 阅读全文