2018年7月6日
mysql删除表的方式
摘要： mysql语句中 删除表数据drop、truncate和delete的用法 程度从强到弱 1、drop table tb drop将表格直接删除，没有办法找回 2、truncate (table) tb 删除表中的所有数据，不能与where一起使用 3、delete from tb (where) 阅读全文
posted @ 2018-07-06 17:21 shizeqi 阅读(2491) 评论(0) 推荐(0) 编辑
jdbc写入和读取过程
摘要： [jdbc写操作] Class.forName("com.mysql.jdbc.Driver"); Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/big","root","root"); ppst 阅读全文
posted @ 2018-07-06 08:35 shizeqi 阅读(455) 评论(0) 推荐(0) 编辑
hadoop全排序和二次排序
摘要： 全排序：将产生的所有part-r-xxx文件合成到一起，仍然是有序的 全排序的方式主要有以下几种方式。 1).设置一个reduce。我们知道在map端发出数据之后，经过中间的shuffle混洗之后就到达了reduce端，在reduce端需要按照key进行聚合，key在聚合过程期间是要进行排序的， 本 阅读全文
posted @ 2018-07-06 07:30 shizeqi 阅读(300) 评论(0) 推荐(0) 编辑
2018年7月4日
mapreduce之数据倾斜
摘要： 如上图，InputFormat决定文件的输入格式，切片的计算是由输入格式来进行计算的，我们默认使用的输入格式是文本输入格式TextInputFormat，而TextInputForm是继承自FileInputFormat这个抽象类，在FileInputFormat这个类中，有一个getsplites 阅读全文
posted @ 2018-07-04 22:19 shizeqi 阅读(730) 评论(0) 推荐(0) 编辑
hdfs切片的计算方式
摘要： HDFS的block是逻辑上的数据块.Hadoop2.0中每一块默认大小128MB,实际存储过程中block大小小于等128MB,它是以文件为存储对象.如一200MB大小文件,分两个数据块128MB+72MB 这里的两个块大实际小分别是128MB和72MB 算法分析: max(minSize, mi 阅读全文
posted @ 2018-07-04 15:24 shizeqi 阅读(1074) 评论(0) 推荐(0) 编辑
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 故障解决
摘要： 在网上看了很多该故障的解决方法，接下来介绍两种 1.解决方法是下载https://github.com/srccodes/hadoop-common-2.2.0-bin文件然后将其中的hadoop.dll文件放到hadoop安装路径的bin文件夹下（配置好HADOOP_HOME的环境变量），然后重启 阅读全文
posted @ 2018-07-04 08:41 shizeqi 阅读(2417) 评论(0) 推荐(0) 编辑
2018年7月3日
Java的静态变量，成员变量，静态代码块，构造块的加载顺序
摘要： 在开始本博客写作之前请大家看一道经典的java面试题 public class StaticTest{ 对于这个执行结果是不是有些让你大跌眼镜呢？那么现在本菜鸟就来分析分析：对于静态成员变量和静态代码块而言，初始化的顺序是按照出现顺序；当有父类静态代码块或者父类静态成员变量的时候，不管出现顺序如何， 阅读全文
posted @ 2018-07-03 17:31 shizeqi 阅读(1208) 评论(0) 推荐(0) 编辑
java面试题(1):
摘要： 最近准备面一家新的公司。总结了一下之前的java面试题，具体内容如下，大家共同学习。 class A{ static int id0; //静态成员变量id0; int id1 ; //非静态成员变量id1 //静态代码块 static{ } //构造代码块 { } //静态方法 static vo 阅读全文
posted @ 2018-07-03 15:16 shizeqi 阅读(217) 评论(0) 推荐(0) 编辑
java程序执行流程简单分析
摘要： 一、简单概述： 一个java程序的执行流程可以简单的分为以下几个步骤：1.编辑源代码 >2.编译阶段，生成.class文件，即源文件有编译器编译成字节码文件 >3.类加载器加载字节码文件 >4.虚拟机加载运行。下面就对这几个阶段进行一个简单的解析。若有错误，欢迎指正！ 二、简单解析： 编辑源代码阶段 阅读全文
posted @ 2018-07-03 14:37 shizeqi 阅读(5363) 评论(0) 推荐(0) 编辑
2018年7月1日
Hadoop---mapreduce排序和二次排序以及全排序
摘要： 自己学习排序和二次排序的知识整理如下。 1.Hadoop的序列化格式介绍:Writable 2.Hadoop的key排序逻辑 3.全排序 4.如何自定义自己的Writable类型 5.如何实现二次排序 1.Hadoop的序列化格式介绍:Writable 要了解和编写MR实现排序必须要知道的第一个知识 阅读全文
posted @ 2018-07-01 16:44 shizeqi 阅读(2220) 评论(0) 推荐(0) 编辑