06 2019 档案
摘要：kafka0.8.2的安装 #################################################### 实时计算相关技术 Strom / JStrom Spark Streming Flink 实时性高 有延迟 实时性高 吞吐量较低 吞吐量高 吞吐量高 只能实时计算 离
阅读全文
摘要：1.安装MySQL（hive的元数据库）并创建一个普通用户，并且授权 CREATE USER 'xiaoniu'@'%' IDENTIFIED BY '123568'; GRANT ALL PRIVILEGES ON hivedb.* TO 'xiaoniu'@'%' IDENTIFIED BY '
阅读全文
摘要：CentOS7命令https://www.cnblogs.com/cerofang/p/11114934.htmlhadoop常用操作命令https://www.cnblogs.com/cerofang/p/10460494.htmlday3_day6https://www.cnblogs.com/
阅读全文
摘要：一、mysql中的编码 mysql> show variables like 'collation_%'; mysql> show variables like 'character_set_%'; 缺省是latin1编码，会导致中文乱码。修改库的编码：mysql> alter database d
阅读全文
摘要：/** 将mysql的表导入 hdfs **/bin/sqoop import \--connect jdbc:mysql://hdp-04:3306/userdb \--username root \--password root \--target-dir \/sqooptest \--fiel
阅读全文
摘要：测试数据库连接bin/sqoop list-databases --connect jdbc:mysql://hdp20-04:3306/app --username root --password root sqoop create-hive-table --connect jdbc:mysql:
阅读全文
摘要：hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hado
阅读全文
摘要：通过案例学习MAPREDUCE教程 1. wordcount示例开发 1.1. wordcount程序整体运行流程示意图 map阶段： 将每一行文本数据变成<单词,1>这样的kv数据 reduce阶段：将相同单词的一组kv数据进行聚合：累加所有的v 注意点：mapreduce程序中， map阶段的进
阅读全文
摘要：1. zookeeper快速上手 1.1. zookeeper的基本功能和应用场景 1.2. zookeeper的整体运行机制 1.3. zookeeper的数据存储机制 1.3.1. 数据存储形式 zookeeper中对用户的数据采用kv形式存储 只是zk有点特别： key：是以路径的形式表示的，
阅读全文
摘要：启动HIV 启动hiv的前提条件是HDFS和YARN都可以正常在启动中 /apps/apache-hive-1.2.1-bin/bin/hive 查询HIV的sql语句 select sex,count(1) from t_bigdata group by male ; hive的脚本化运行使用方式
阅读全文
