落霞与孤鹜齐飞

摘要： linux 创建连接命令 ln -s 软链接 这是linux中一个非常重要命令，请大家一定要熟悉。它的功能是为某一个文件在另外一个位置建立一个同不的链接，这个命令最常用的参数是-s, 具体用法是：ln -s 源文件 目标文件。 当 我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后在其它的 目录下用ln命令链接... 阅读全文

摘要： #!/bin/bash # dataformat=`date +%Y-%m-%d-%H-%M` #进行文件件cp并重命名 nginx_home=/opt/modules/nginx-1.12/ cp ${nginx_home}logs/access.log ${nginx_home}logs/access_$dataformat.log host=`hostname` #在每行之前插入ngi... 阅读全文

摘要： Synchronized(this) 锁住该代码块的对象，等访问该对象的线程执行完，其他线程才可以执行。 Synchronized(xxx.class) 锁住该类，所有访问该类的线程，一次只有一个可以执行。 其他 A. 无论synchronized关键字加在方法上还是对象上，如果它作用的对象是非静态的，则它取得的锁是对象；如果synchronized作用的对象是一个静态方法或一个类，则它取... 阅读全文

摘要： 对于kafak与sparkstreaming集成后 存在的问题 一。基于receiver的方式在kafka1.0后好像是去取消了 都是高级api 默认是200毫秒接受的数据形成一个block块，设置5s为一个批次 那就是5000/200 为25个分区 1.val kafkaParams = Map( "zookeeper.connect" -> "bigdata.server... 阅读全文

摘要： redis是一种高级的key:value存储系统，其中value支持五种数据类型： 1.字符串（strings） 2.字符串列表（lists） 3.字符串集合（sets） 4.有序字符串集合（sorted sets） 5.哈希（hashes） 而关于key，有几个点要提醒大家： 1.key不要太长，尽量不要超过1024字节，这不仅消耗内存，而且会降低查找的效率； 2.key也不要太短，太短... 阅读全文

摘要： import java.util import kafka.common.TopicAndPartition import kafka.message.MessageAndMetadata import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD... 阅读全文

摘要： 一个加载配置文件 就可以获取值的jar包 阅读全文

摘要： hadoop-client依赖很乱 调试很多次cdh版本好多jar没有 用hadoop2.7.3可以 自定义输出流的池子进行流管理 public void writeLog2HDFS(String path, byte[] log) { try { //得到我们的装饰流 FSDataOutputStream ou... 阅读全文

摘要： 工作中需求：每天早上定时将数据查询出来只作为excel上传至远程服务器 配置spring的xml文件 客户端上传文件值一个url接口的方法 从Dao层借口返回的list集合数据形成excel 阅读全文

摘要： AuditorDimensionKey.class, Text.class, job, false); 阅读全文