05 2017 档案

摘要:需求:将视频文件压入zip包,然后上传服务器.服务器对zip解压,使用bat/shell,使用ffmpeg对视频进行封面截取.再使用OSS对视频和封面进行批量上传.最后将信息存入数据库 遇到的问题 1.bat批量截取视频封面 在之前的代码中,遍历视频解压后的目录.通过ProcessBuilder调用 阅读全文
posted @ 2017-05-31 16:54 0xcafedaddy 阅读(2817) 评论(0) 推荐(0) 编辑
摘要:wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131 阅读全文
posted @ 2017-05-28 20:18 0xcafedaddy 阅读(137) 评论(0) 推荐(0) 编辑
摘要:## Storm Grouping ### Shuffle Grouping : 随机分组,尽量均匀分布到下游Bolt中将流分组定义为混排。 这种混排分组意味着来自Spout的输入将混排,或随机分发给此Bolt中的任务。shuffle grouping对各个task的tuple分配的比较均匀。 ### Fields Grouping : 按字段分组,按数据中field值进行分组;相同field... 阅读全文
posted @ 2017-05-19 21:17 0xcafedaddy 阅读(537) 评论(0) 推荐(0) 编辑
摘要:在做视频截取封面的时候用到了ffmpeg.我采用的是通过Java调用bat或sh脚本然后生成图片文件. 在线上使用的是Centos 7.所以程序中需要获取到当前运行环境的信息来选择调用bat命令还是sh 运行脚本&程序代码 win Linux 程序代码 Java获取当前运行环境信息 判断操作系统是L 阅读全文
posted @ 2017-05-19 14:40 0xcafedaddy 阅读(3146) 评论(0) 推荐(0) 编辑
摘要:转载:http://blog.csdn.net/xiao_jun_0820/article/details/38111305 对于flume拦截器,我的理解是:在app(应用程序日志)和 source 之间的,对app日志进行拦截处理的。也即在日志进入到source之前,对日志进行一些包装、清新过滤 阅读全文
posted @ 2017-05-16 15:27 0xcafedaddy 阅读(241) 评论(0) 推荐(0) 编辑
摘要:现需要通过log4j将日志输出到flume,通过flume将日志写到文件或hdfs中 配置flume config文件 将日志下沉至文件 将日志下沉至HDFS maven配置pom.xml文件 配置log4j.properties 编写测试类 问题总结 flume和项目不在同一台机器上,需要远程写入 阅读全文
posted @ 2017-05-15 15:37 0xcafedaddy 阅读(1232) 评论(1) 推荐(0) 编辑
摘要:### 下载KAFKA ``` http://kafka.apache.org/downloads ``` ### 解压并修改配置文件 * vim config/server.properties ``` #broker的全局唯一编号,不能重复 broker.id=0 #用来监听链接的端口,producer或consumer将在此端口建立链接 port=9092 #处理网络请求的线程... 阅读全文
posted @ 2017-05-11 00:04 0xcafedaddy 阅读(826) 评论(0) 推荐(0) 编辑
摘要:### 为什么要修改默认22端口 * 最近公司ssh全部换掉了默认的22端口,主要是为了防止被黑客大规模的扫描. ### 修改步骤 1. 如果有需要请关闭防火墙(防止改错端口无法登陆) 2. 修改sshd_config ``` vim /etc/ssh/sshd_config ``` 3. 重启sshd服务 ``` service sshd restart ``` ### 其他说明 * 在修改... 阅读全文
posted @ 2017-05-10 16:36 0xcafedaddy 阅读(168) 评论(0) 推荐(0) 编辑
摘要:Linux下从给定文件夹中找出小于1M的文件,并批量添加.gif后缀 1. 先看一下文件夹下的目录的格式 2. 获取到小于1M的文件名,并将文件名输出到files.txt文件中 3. 将小于1M的文件cp到新的文件夹中 4. 批量给文件名添加.gif后缀 这里我写了一个shell脚本,从f.txt中 阅读全文
posted @ 2017-05-10 15:52 0xcafedaddy 阅读(391) 评论(0) 推荐(0) 编辑
摘要:下载Storm 解压设置权限 1.tar zxf storm.tar.gz C /usr/local/storm 2.sudo chown R hadoop:hadoop /usr/local/storm 改配置文件storm.yaml 分发修改后的Storm文件夹 启动集群 在nimbus.hos 阅读全文
posted @ 2017-05-09 21:07 0xcafedaddy 阅读(141) 评论(0) 推荐(0) 编辑
摘要:转载:http://www.cnblogs.com/nexiyi/p/hbase_config_94.html 版本:0.94 cdh4.2.1 hbase site.xml配置 hbase.tmp.dir 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很 阅读全文
posted @ 2017-05-09 15:21 0xcafedaddy 阅读(188) 评论(0) 推荐(0) 编辑
摘要:环境准备 1. Java 2. HDFS 3. zookeeper 4. SSH,NTP时间同步 5. 系统调优,这个可以等安装完后改,文件打开数(ulimit和nproc) 6. 修改Hadoop HDFS Datanode同时处理文件的上限:dfs.datanode.max.xcievers 下 阅读全文
posted @ 2017-05-09 14:16 0xcafedaddy 阅读(580) 评论(0) 推荐(0) 编辑
摘要:下载zookeeper 解压设置权限 1.tar zxf zk.tar.gz C /usr/local/zookeeper 2.sudo chown R hadoop:hadoop /usr/local/zookeeper 改配置文件zoo.cfg 1.查看etc/hosts目录中对应host 2. 阅读全文
posted @ 2017-05-08 23:33 0xcafedaddy 阅读(140) 评论(0) 推荐(0) 编辑
摘要:#### MySQL在已有字段后追加相应的值值 需求:在MySQL中的topic表中,需要将每一个cover字段后添加上: -400.webp ``` update topic set cover = CONCAT(cover,'-400.webp') where atype = 2; ``` #### MySQL替换字段中的值 需求:如果在追加-400.webp的时候,错误的写成[-400... 阅读全文
posted @ 2017-05-08 17:03 0xcafedaddy 阅读(128) 评论(0) 推荐(0) 编辑
摘要:今天在做List中Object排序时,报错: 我的方法是 使pojo实现Comparable接口,重写compareTo方法. 最原始的写法为: 这种写法在JDK1.6运行并没有什么问题,但是在JDK1.7+运行就存在问题. 参考这两篇文章: http://blog.csdn.net/ghsau/a 阅读全文
posted @ 2017-05-05 11:22 0xcafedaddy 阅读(638) 评论(0) 推荐(0) 编辑
摘要:目标JSON顺序: 如果使用默认情况生成,则顺序为: w,h,s,url 在fastJson中,可以使用@JSONField来指定属性顺序(需要1.1.42以上版本) 参考链接:http://www.oschina.net/question/2336560_229478?sort=default&p 阅读全文
posted @ 2017-05-03 12:33 0xcafedaddy 阅读(1609) 评论(0) 推荐(0) 编辑
摘要:今天在清空catalina.out的时候报错 使用sudo echo ‘xxx’ > /path/file 时,其实sudo只用在了 echo 上,而重定向没有用到sudo的权限,所以会出现“Permission denied”的情况,解决的方法也很简单,就是一个参数而已。加一个“ sh -c ”就 阅读全文
posted @ 2017-05-02 18:03 0xcafedaddy 阅读(974) 评论(0) 推荐(1) 编辑
摘要:nginx日志access.log error.log按天生成存储,定时删除日志 logrotate https://linux.cn/article-4126-1.html http://blog.csdn.net/forthemyth/article/details/44062529 日志切割: 阅读全文
posted @ 2017-05-02 15:47 0xcafedaddy 阅读(827) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示