HDFS文件系统的JAVA-API操作(一)
摘要：HDFS文件系统的JAVA-API操作(一) 要点导航 实例1：使用java.net.URL访问HDFS文件系统 实例2：使用FileSystem访问HDFS文件系统 实例3：创建HDFS目录 实例4：删除HDFS目录 实例5：查看文件或目录是否存在 实例6：列出目录下的文件或目录名称 实例7：查看
阅读全文
kafka offset的存储问题
摘要：注意：从kafka-0.9版本及以后，kafka的消费者组和offset信息就不存zookeeper了，而是存到broker服务器上，所以，如果你为某个消费者指定了一个消费者组名称（group.id），那么，一旦这个消费者启动，这个消费者组名和它要消费的那个topic的offset信息就会被记录在b
阅读全文
kafka查询topic属性含义
摘要：第一行，列出了topic的名称，分区数(PartitionCount),副本数(ReplicationFactor)以及其他的配置(Config.s) Leader:1 表示为做为读写的broker的编号 Replicas:表示该topic的每个分区在那些borker中保存 Isr:表示当前有效的b
阅读全文
java静态类、静态方法、静态代码块，静态变量及实例方法，实例变量初始化顺序及内存管理,机制
摘要：1.当一个类被第一次使用时，它需要被类加载器加载，而加载过程涉及以下两点： （1）在加载一个类时，如果它的父类还未被加载，那么其父类必须先被加载； （2）当类加载到内存之后，按照在代码中的出现顺序执行它的静态变量和静态块（如果有的话）。 2.调用一个类的构造函数时，调用过程涉及以下三点： （1）调用
阅读全文
TensorFlow的学习
摘要：1.先判断python的版本(因为有些python版本自带pip，可以参考我写的对pip的认识的博客文章)，选择是否安装pip，然后安装更新tensorflow如：sudo pip install --upgrade https://storage.googleapis.com/tensorflow
阅读全文
pip的认识
摘要：步骤一:通过wget命令直接下载 如：wget https://bootstrap.pypa.io/get-pip.py wget下载的安装文件（如get-pip.py）在当前运行命令的目录 步骤二:执行安装命令 如:sudo python get-pip.py 方法二: 先下载安装包如：wget
阅读全文
java动态代理
摘要：AOP的拦截功能是由java中的动态代理来实现的。说白了，就是在目标类的基础上增加切面逻辑，生成增强的目标类（该切面逻辑或者在目标类函数执行之前，或者目标类函数执行之后，或者在目标类函数抛出异常时候执行。不同的切入时机对应不同的Interceptor的种类 更通俗的说，代理解决的问题当两个类需要通信
阅读全文
在kafka/config/目录下面有3个配置文件参数说明（producer.properties。consumer.properties。server.properties）
摘要：(1).producer.properties:生产端的配置文件 (2).consumer.properties:消费端的配置文件 (3).server.properties:服务端的配置文件 Kafka日志管理器允许定制删除策略。目前的策略是删除修改时间在N天之前的日志（按时间删除），也可以使用另
阅读全文
hadoop集群环境配置成功与否查看方法
摘要：1.Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动jobhistory 如：sbin/mr-jobhistory-daemon.sh start historyse
阅读全文
