摘要：
MapReduce常用接口 MapReduce中常见的类如下。 org.apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf：MapReduce作业 阅读全文
摘要：
Scala 访问修饰符基本和Java的一样，分别有：private，protected，public。如果没有指定访问修饰符，默认情况下，Scala 对象的访问 级别都是 public。Scala 中的 private 限定符，比 Java 更严格，在嵌套类情况下，外层类甚至不能访问被嵌套类的私有成 阅读全文
摘要：
Scala 可以使用两种形式的标志符，字符数字和符号。 字符数字使用字母或是下划线开头，后面可以接字母或是数字，符号"$"在 Scala 中也看作为字母。然而以"$"开头的标识符为保留的 Scala 编译器产生的标志符使用，应用程序应该避免使用"$"开始的标识符，以免造成冲突。 + ++ ::: < 阅读全文
摘要：
解压安装：# tar -zxvf 解压目录/安装包 -C 解压至目录 配置环境变量 # vi /etc/profile 添加export SQOOP_HOME=/opt/sqoop1.4.6export PATH=$PATH:$SQOOP_HOME/bin 修改sqoop-env.sh # cd / 阅读全文
摘要：
一、安装jdk、hadoop 注意在主节点上解压安装 # tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/lcoal/src # tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local 2. 配置环境变量 编辑/etc/pro 阅读全文
摘要：
列簇特点： 建议：列簇尽可能越少越好，多了会降低磁盘等性能。 数据库比较： 阅读全文
摘要：
常见的MySQL使用命令： 启动MySQL服务：net start mysql 停止MySQL服务：net stop mysql 登录MySQL数据库：mysql –h hostname –u username –p 退出服务器：exit 查看状态信息：status; 查看数据库：show data 阅读全文
摘要：
数据仓库的出现，并不是取代数据库。 数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储业务数据，数据仓库存储的一般是历史数据。 数据库是为了捕获数据而设计，数据仓库是为了分析数据而设计。 数据库设计是尽量避免冗余，一般针对某一业务应用设计。 数据仓库，当数据在数据库已经大量存在的情况 阅读全文
摘要：
配置文件在hadoop文件夹下 /etc/hadoop 1.配置hadoop-env.sh: export JAVA_HOME=/usr/lib/jvm/jdk1.8.201 2.配置core-site.xml文件: <!-- 指定hadoop所使用的文件系统schema（URL)，HDFS的老大（ 阅读全文
摘要：
名称节点的数据结构 在HDSFS中，名称节点（namenode）负责管理分布式文件系统的命名空间（Namespace），保存了两个核心的数据结构，即FsImage和EditLog。 名称节点记录了每个文件中各个块所在的数据节点的位置信息。 FsImage用于维护文件系统树以及文件树中所有的文件和文件 阅读全文