2020年4月19日

编写程序向HBase添加日志信息

摘要： 关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新） 承接上一篇文档《日志信息和浏览器信息获取及数据过滤》 上一个文档最好做个本地测试 将map方法改为public，做一个测试看是否有错误代码，代码和之前的MainProcess基本一样 之前完成了数据的过滤、补全， 阅读全文

posted @ 2020-04-19 23:09 那山的狐狸 阅读(347) 评论(0) 推荐(0) 编辑

Nginx日志通过Flume导入到HDFS中

摘要： 关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新） flume上传到hdfs： 当我们的数据量比较大时，比如每天的日志文件达到5G以上 使用hadoop的put命令不稳定 后期考虑引入新的日志上传框架flume source类： exec 监控文件：tail -f 阅读全文

posted @ 2020-04-19 22:53 那山的狐狸 阅读(395) 评论(0) 推荐(0) 编辑

日志通过脚本导入到HDFS当中

摘要： 可以关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新） 利用shell脚本定时备份日志数据到HDFS上（适合日志数据比较少的时候） 时间命令 date +"%Y%m%d" 今天的日期 date -d "1 day ago" +"%Y%m%d" 昨天的日期 date 阅读全文

posted @ 2020-04-19 22:32 那山的狐狸 阅读(369) 评论(0) 推荐(0) 编辑

导航