摘要: 想要彻底删除topic数据要经过下面两个步骤: ①:删除topic,重新用创建topic语句进行创建topic ②:删除zookeeper中的consumer中的路径。 这里假设要删除的topic是test,kafka的zookeeper root为/kafka 删除kafka相关的数据目录 数据目 阅读全文
posted @ 2018-12-03 21:44 uuhh 阅读(3557) 评论(0) 推荐(0) 编辑
摘要: 什么时候类加载 。第一次需要使用类信息时加载。 类加载的原则:延迟加载,能不加载就不加载。 触发类加载的几种情况: (1)、调用静态成员时,会加载静态成员真正所在的类及其父类。 通过子类调用父类的静态成员时,只会加载父类而不会加载子类 (2)、第一次 new 对象的时候 加载(第二次再 new 同一 阅读全文
posted @ 2018-12-03 18:34 uuhh 阅读(2136) 评论(0) 推荐(0) 编辑
摘要: checkpoint的作用就是将DAG中比较重要的中间数据做一个检查点将结果存储到一个高可用的地方(通常这个地方就是HDFS里面) 阅读全文
posted @ 2018-12-03 16:54 uuhh 阅读(1040) 评论(0) 推荐(0) 编辑
摘要: Case函数只返回第一个符合条件的值,剩下的Case部分将会被自动忽略 简单Case函数#####功能方面会有些限制,比如写判断式。 CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女' ELSE '其他' END Case搜索函数##### CASE WHEN 阅读全文
posted @ 2018-12-03 14:21 uuhh 阅读(156) 评论(0) 推荐(0) 编辑
摘要: SQL:将查询结果插入到另一个表的三种情况 SQL:将查询结果插入到另一个表的三种情况 一:如果要插入目标表不存在: select * into 目标表 from 表 where ... 二:如果要插入目标表已经存在: insert into 目的表 select * from 表 where 条件 阅读全文
posted @ 2018-12-03 09:34 uuhh 阅读(459) 评论(0) 推荐(0) 编辑
摘要: MySQL IFNULL函数是MySQL控制流函数之一,它接受两个参数,如果不是NULL,则返回第一个参数。 否则,IFNULL函数返回第二个参数。 两个参数可以是文字值或表达式。 以下说明了IFNULL函数的语法: IFNULL(expression_1,expression_2); IFNULL 阅读全文
posted @ 2018-12-02 21:40 uuhh 阅读(3911) 评论(0) 推荐(0) 编辑
摘要: kafka主要配置 kafka主要配置 Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。 官网配置地址: Configuration 每个kafka broker中配置文件server.properties 阅读全文
posted @ 2018-12-02 15:20 uuhh 阅读(1275) 评论(0) 推荐(0) 编辑
摘要: 1. 当前系统日期、时间select getdate() 2. dateadd 在向指定日期加上一段时间的基础上,返回新的 datetime 值例如:向日期加上2天select dateadd(day,2,'2004-10-15') --返回:2004-10-17 00:00:00.000 3. d 阅读全文
posted @ 2018-12-01 11:36 uuhh 阅读(143) 评论(0) 推荐(0) 编辑
摘要: Trident 是一个基于Storm构建的上层的Micro-Batching系统,它简化了Storm的拓扑构建过程并且提供了类似于窗口、聚合以及状态管理等等没有被Storm原生支持的功能 阅读全文
posted @ 2018-11-30 23:14 uuhh 阅读(374) 评论(0) 推荐(0) 编辑
摘要: : com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL ser 阅读全文
posted @ 2018-11-30 19:49 uuhh 阅读(2021) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2018-11-30 19:30 uuhh 阅读(455) 评论(0) 推荐(0) 编辑
摘要: 提高可读性。 小块的代码,越小越好。 消除重复代码。 尽量进行抽象 一目了然的命名,不要怕名字长,包括类、变量、方法。 尽可能提高代码的表达力,而不是去使用注释。 删除无用代码,版本管理工具会帮你保留历史,不用担心找不到。 大胆写方法吧,先不要想着怎么优化,先专注于业务与功能,再进行优化。 方法短小 阅读全文
posted @ 2018-11-30 18:23 uuhh 阅读(376) 评论(0) 推荐(0) 编辑
摘要: Flink为各种存储系统(如Kafka,Kinesis,Elasticsearch和JDBC数据库系统)提供了丰富的连接器。它还具有连续的文件系统源,用于监视以时间分区方式写入文件的目录和接收器 如果kafka版本为0.8或者0.9导入flink-connector-kafka-0.8_2.11-1 阅读全文
posted @ 2018-11-30 09:04 uuhh 阅读(1110) 评论(0) 推荐(0) 编辑
摘要: 1、被final修饰的类不可以被继承 2、被final修饰的方法不可以被重写 3、被final修饰的变量不可以被改变 被修饰不可变的是变量的引用,而不是引用指向的内容,引用指向的内容是可以改变的。 被final修饰的方法,JVM会尝试为之寻求内联,这对于提升Java的效率是非常重要的。因此,假如能确 阅读全文
posted @ 2018-11-28 21:16 uuhh 阅读(193) 评论(0) 推荐(0) 编辑
摘要: GC调优的第一步是收集有关垃圾收集发生频率和GC使用时间的统计信息。这可以通过添加-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStampsJava选项来完成 阅读全文
posted @ 2018-11-28 21:10 uuhh 阅读(578) 评论(0) 推荐(0) 编辑
摘要: 使用Maven构建Spark需要Maven 3.3.3或更高版本以及Java 7+ Spark仅支持YARN 2.2.0及更高版本。 默认情况下,Spark将使用Hive 0.13.1绑定进行构建。 要生成使用Scala 2.11编译的Spark包 阅读全文
posted @ 2018-11-28 21:08 uuhh 阅读(453) 评论(1) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2018-11-27 19:21 uuhh 阅读(99) 评论(0) 推荐(0) 编辑
摘要: pom.xml 用于maven的配置文件 /src 源代码目录 /src/main 工程源代码目录 /src/main/java 工程java源代码目录 /src/main/resource 工程的资源目录 /src/test 单元测试目录 /src/test/java /target 输出目录,所 阅读全文
posted @ 2018-11-27 09:14 uuhh 阅读(214) 评论(0) 推荐(0) 编辑
摘要: vpn连接不上,因为设备管理器中的网络设备vpn没有打开。 阅读全文
posted @ 2018-11-26 19:12 uuhh 阅读(0) 评论(0) 推荐(0) 编辑
摘要: [2018-11-23 15:35:14,958] ERROR Processor got uncaught exception. (kafka.network.Processor)java.lang.ArrayIndexOutOfBoundsException: 18 at org.apache. 阅读全文
posted @ 2018-11-23 15:48 uuhh 阅读(3362) 评论(0) 推荐(0) 编辑
摘要: isr_change_notification目录 admin目录 topic 配置 /config/topics/[topic_name] consumer offset /consumers/[groupId]/offsets consumer owner /consumers/[groupId 阅读全文
posted @ 2018-11-23 15:27 uuhh 阅读(2557) 评论(0) 推荐(0) 编辑
摘要: my.ini文件在C:\Program Files\MySQL\MySQL Server 5.5\my.ini安装目录下。没有在隐藏目录programdata目录下 阅读全文
posted @ 2018-11-22 14:32 uuhh 阅读(1705) 评论(0) 推荐(0) 编辑
摘要: 在JVM中只能同时激活一个StreamingContext 一旦启动了上下文,就不能设置或添加新的流式计算。 dstream.foreachRDD是一个功能强大的原语,允许将数据发送到外部系统 阅读全文
posted @ 2018-11-20 21:17 uuhh 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 1. spark 1.x 升级到spark 2.x 对于普通的spark来说,变动不大 : 1 举一个最简单的实例: spark1.x public static JavaRDD workJob(JavaRDD spark1Rdd) { JavaPairRDD testRdd = spark1Rdd .flatMapToPair(new Pai... 阅读全文
posted @ 2018-11-19 12:43 uuhh 阅读(900) 评论(0) 推荐(0) 编辑
摘要: 安装sqoop 上传,解压 修改SQOOP_HOME环境变量 复制mysql-connector-java-5.1.32-bin.jar到sqoop/lib下 将sqoop-env-template.sh改成sqoop-env.Sh 在sqoop/bin目录下,修改configure-sqoop,去 阅读全文
posted @ 2018-11-18 15:01 uuhh 阅读(172) 评论(0) 推荐(0) 编辑
摘要: 安装flume 上传,解压 修改flume-env.sh的JAVA_HOME 修改FLUME_HOME环境变量 阅读全文
posted @ 2018-11-18 15:00 uuhh 阅读(100) 评论(0) 推荐(0) 编辑
摘要: http://flume.apache.org/ 安装1、上传2、解压3、修改conf/flume-env.sh 文件中的JDK目录 注意:JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功 ./flume-ng version5、配置环境变量 ex 阅读全文
posted @ 2018-11-18 14:27 uuhh 阅读(297) 评论(0) 推荐(0) 编辑
摘要: Hbase伪分布式(成功实施)hadoop集群正常,zookeeper集群正常 修改Hbase-env.sh的JAVA_HOME,改成绝对路径。 并修改export HBASE_MANAGES_ZK=false 修改环境变量HBASE_HOME 修改hbase-site.xml 添加 <proper 阅读全文
posted @ 2018-11-18 13:21 uuhh 阅读(267) 评论(0) 推荐(0) 编辑
摘要: Hive 单用户模式安装(成功实施) mysql在Node02,hive也在node02。安装之前确保,mysql和hadoop处于启动状态 安装mysql: [root@BrianZhu /]# wget -i -c http://dev.mysql.com/get/mysql57-communi 阅读全文
posted @ 2018-11-18 12:56 uuhh 阅读(544) 评论(0) 推荐(0) 编辑
摘要: HadoopAPI和exlipse关系建立 解压hadoop-2.6.5.tar.gz 然后将解压目录下的share目录下的所有Jar都复制出来到另一个lib2文件下 然后使用自己的bin目录下的内容覆盖hadoop包中Bin目录下的内容。对window进行支持。 然后把hadoop.dll放入wi 阅读全文
posted @ 2018-11-18 10:19 uuhh 阅读(316) 评论(0) 推荐(0) 编辑
摘要: 1、firewalld的基本使用 启动: systemctl start firewalld 关闭: systemctl stop firewalld 查看状态: systemctl status firewalld 开机禁用 : systemctl disable firewalld 开机启用 : 阅读全文
posted @ 2018-11-17 14:13 uuhh 阅读(2599) 评论(0) 推荐(1) 编辑
摘要: 这个问题,是因为以前安装过,卸载没有卸载干净导致。所以下载一个ccleaner,然后清除所有注册表。再重新安装即可。 阅读全文
posted @ 2018-11-17 14:12 uuhh 阅读(1242) 评论(0) 推荐(0) 编辑
摘要: dhcp:动态获取IP.一般是客户端 static:静态获取IP一般是服务端 阅读全文
posted @ 2018-11-16 22:49 uuhh 阅读(4603) 评论(0) 推荐(0) 编辑
摘要: 一、基础 1、说明:创建数据库CREATE DATABASE database-name2、说明:删除数据库drop database dbname3、说明:备份sql server 创建 备份数据的 deviceUSE masterEXEC sp_addumpdevice 'disk', 'tes 阅读全文
posted @ 2018-11-14 17:28 uuhh 阅读(674) 评论(0) 推荐(0) 编辑
摘要: canal架构设计 说明: server代表一个canal运行实例,对应于一个jvm instance对应于一个数据队列 (1个server对应1..n个instance) instance模块: eventParser (数据源接入,模拟slave协议和master进行交互,协议解析) event 阅读全文
posted @ 2018-11-14 11:48 uuhh 阅读(2727) 评论(0) 推荐(0) 编辑
摘要: 1.尽量不要造成全表扫描的语句,如where条件中使用!=,<>。或null 2.使用where代替having 3.使用多表连接而不是子查询 4. 阅读全文
posted @ 2018-11-13 22:05 uuhh 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出的定义被广泛接受,数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile 阅读全文
posted @ 2018-11-13 20:53 uuhh 阅读(6127) 评论(0) 推荐(0) 编辑
摘要: 协变:若B是A的子类,且F(B)是F(A)的子类,则F为协变 逆变:若B是A的子类,且F(B)是F(A)的父类,则F为逆变 java中的协变:B是A的子类,则List是List的子类 java中的逆变:B是A的子类,则List是List的子类 java中协变与逆变的约束:java中的协变逆变和约束, 阅读全文
posted @ 2018-11-11 10:32 uuhh 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 前言 前面我们已经了解了MySQLQueryOptimizer的工作原理,学习了Query优化的基本原则和思路,理解了索引选择的技巧,这一节我们将围绕Query语句中使用非常频繁,且随时可能存在性能隐患的Join语句,继续我们的Query优化之旅。 Join 的实现原理 在寻找Join语句的优化思路 阅读全文
posted @ 2018-11-09 09:17 uuhh 阅读(450) 评论(0) 推荐(0) 编辑
摘要: 深入理解java虚拟机阅读笔记 Jdk=java语言+jvm+api Java技术体系分为4个平台:java card,me,se,me Java虚拟机在java程序执行过程把jvm的内存划分位若干不同数据区域。这些区域有各自的用途,以及创建和销毁时间。有些区域随虚拟机的进程的启动而存在,有些区域依 阅读全文
posted @ 2018-11-08 21:57 uuhh 阅读(291) 评论(0) 推荐(0) 编辑