07 2019 档案
摘要：接上文，本文采用Hive相关的技术来完成数据清理和计算 一. 原始日志信息的存储 hive的表支持正则式的方式进行存储和读取，如下：（注：不要建成外部表，便于数据清洗完后Truncate掉数据，以便后续数据的清洗） 我们的access.log的日志数据格式如下： 所以建表语句中的正则式 二. 原始日
阅读全文
摘要：一. 埋点 测试时，需要自己模拟一个网站系统，在其中需要埋点的页面中的<head></head>中加入如下代码： <script src="tongji.js"></script> 注：tongji.js 就是需埋点的 js 文件 下面是 tongji.js 文件的代码： /**函数可对字符串进行编
阅读全文
摘要：概述 背景：在互联网的应用中，日志是个非常重要的数据，因为互联网项目往往是要求 7*24 不间断运行的，所以能获取到监控系统运行的相关日志数据并进行分析就显得很有必要。 日志的种类： 系统日志：也就是由开发人员在系统后台代码中加入的日志输出语句，如果是JAVA语言，通常都是采用log4j的框架技术进
阅读全文
