摘要:
Java8 stream的使用1、集合对象取某个属性形成集合List<String> knows = examPaperList.stream().map(TestExam::getKnowPoint).collect(Collectors.toList());2、统计上述String的个数形成Ma 阅读全文
摘要:
Java8 stream的使用1、集合对象取某个属性形成集合List<String> knows = examPaperList.stream().map(TestExam::getKnowPoint).collect(Collectors.toList());2、统计上述String的个数形成Ma 阅读全文
摘要:
java.sql.SQLException: java.lang.ClassCastException: java.math.BigInteger cannot be cast to java.lang.Long at com.mysql.jdbc.SQLError.createSQLExcepti 阅读全文
摘要:
安装Scala上传安装包,解压到software目录下[hadoop@master01 install]$ tar -zxvf scala-2.11.8.tgz -C /software/配置环境[hadoop@master01 software]$ su -lc "vi /etc/profile" 阅读全文
摘要:
HBase命令行终端:hbase shell F1、表空间管理: 1、查看表空间 hbase(main):002:0> list_namespace 2、查看表空间下有哪些表 hbase(main):003:0> list_namespace_tables 'default' 3、创建表空间 hba 阅读全文
摘要:
HBase随笔: 1、HBase数据存放在hdfs集群中,是一个大表,写操作使用MapReduce处理,将(增删改)处理结果放入HBase中,读就直接读HBase,HBase的并发量在1000左右,常用的关系型数据库MySql的并发量在300到500之间,原因在于HBase启用了缓存技术.HBase 阅读全文
摘要:
Hive应用部分:准备工作:删除bnyw库1、创建员工表:create table if not exists emp(eno int,ename string,eage int,bithday date,sal double,com double,gender string,dno int) ro 阅读全文
摘要:
1、Hive简介: 解决繁琐的Map和reduce分析,设计,拆解,以及编码,编译过程, 2、Hive架构原理: 3、Hive服务器搭建: A、在客户端安装Hive1.1.2 B、配置Hive环境 [hadoop@CloudDeskTop bin]$ vi hive-config.sh export 阅读全文
摘要:
集群HDFS/YARN高可用配置(zookeeper): [hadoop@master01 hadoop]$ vi core-site.xml配置: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://ns1</val 阅读全文
摘要:
1、分区是必须要经历Shuffle过程的,没有Shuffle过程无法完成分区操作2、分区是通过MapTask输出的key来完成的,默认的分区算法是数组求模法: 数组求模法: 将Map的输出Key调用hashcode()函数得到的哈希吗(hashcode),此哈希吗是一个数值类型 ,将此哈希吗数值直接 阅读全文
摘要:
小结排序:1、如果只需要对数据进行过滤,筛选只需要编写Mapper类,不需要Reduce类,此时在Driver中要执行下面一条语句 Job。setNumReduceTask(0);2、如果需要对数据集进行分组(group by)、排序(order by)、表连接(join)、排重(distinct) 阅读全文
|