摘要：
Java8 stream的使用1、集合对象取某个属性形成集合List<String> knows = examPaperList.stream().map(TestExam::getKnowPoint).collect(Collectors.toList());2、统计上述String的个数形成Ma 阅读全文
|
摘要：
Java8 stream的使用1、集合对象取某个属性形成集合List<String> knows = examPaperList.stream().map(TestExam::getKnowPoint).collect(Collectors.toList());2、统计上述String的个数形成Ma 阅读全文
摘要：
java.sql.SQLException: java.lang.ClassCastException: java.math.BigInteger cannot be cast to java.lang.Long at com.mysql.jdbc.SQLError.createSQLExcepti 阅读全文
摘要：
安装Scala上传安装包，解压到software目录下[hadoop@master01 install]$ tar -zxvf scala-2.11.8.tgz -C /software/配置环境[hadoop@master01 software]$ su -lc "vi /etc/profile" 阅读全文
摘要：
HBase命令行终端：hbase shell F1、表空间管理： 1、查看表空间 hbase(main):002:0> list_namespace 2、查看表空间下有哪些表 hbase(main):003:0> list_namespace_tables 'default' 3、创建表空间 hba 阅读全文
摘要：
HBase随笔： 1、HBase数据存放在hdfs集群中，是一个大表，写操作使用MapReduce处理，将（增删改）处理结果放入HBase中，读就直接读HBase，HBase的并发量在1000左右，常用的关系型数据库MySql的并发量在300到500之间，原因在于HBase启用了缓存技术.HBase 阅读全文
摘要：
Hive应用部分：准备工作：删除bnyw库1、创建员工表：create table if not exists emp(eno int,ename string,eage int,bithday date,sal double,com double,gender string,dno int) ro 阅读全文
摘要：
1、Hive简介： 解决繁琐的Map和reduce分析，设计，拆解，以及编码，编译过程， 2、Hive架构原理： 3、Hive服务器搭建： A、在客户端安装Hive1.1.2 B、配置Hive环境 [hadoop@CloudDeskTop bin]$ vi hive-config.sh export 阅读全文
摘要：
集群HDFS/YARN高可用配置（zookeeper）： [hadoop@master01 hadoop]$ vi core-site.xml配置： <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://ns1</val 阅读全文
摘要：
1、分区是必须要经历Shuffle过程的，没有Shuffle过程无法完成分区操作2、分区是通过MapTask输出的key来完成的，默认的分区算法是数组求模法： 数组求模法： 将Map的输出Key调用hashcode（）函数得到的哈希吗（hashcode），此哈希吗是一个数值类型 ，将此哈希吗数值直接 阅读全文
摘要：
小结排序：1、如果只需要对数据进行过滤，筛选只需要编写Mapper类，不需要Reduce类，此时在Driver中要执行下面一条语句 Job。setNumReduceTask(0)；2、如果需要对数据集进行分组（group by）、排序（order by）、表连接（join）、排重（distinct） 阅读全文
|