12 2019 档案
摘要：一、时间函数 # 按照指定时间格式获取当前时间 select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') ; # 时间戳转日期 select from_unixtime(1505456567); select from_unixtime
阅读全文
摘要：一、日志说明nginx日志主要有两种：访问日志和错误日志。访问日志主要记录客户端访问nginx的每一个请求，格式可以自定义；错误日志主要记录客户端访问nginx出错时的日志，格式不支持自定义。两种日志都可以选择性关闭。通过访问日志，你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息；通过错误日志，你可以得到系统某个服务或server的性能瓶颈等。因此，将日志好好利用，你可以得到...
阅读全文
摘要：1、修改注册表，位置如下：HKEY_LOCAL_MACHINE/SOFTWARE/Microsoft/Windows NT/CurrentVersion/Windows2、设置1、GDIProcessHandleQuota此项设置GDI句柄数量，默认值为2710(16进制)/10000(10进制)，该值的允许范围为 256 ~ 16384 ，将其调整为大于默认的10000的值。如果您的系统配置了2...
阅读全文
摘要：1、说明 2、启动hiveserver2 3、查看 4、使用beeline连接 5、可能的问题 <property> <name>hive.server2.authentication</name> <value>NONE</value> </property> <property> <name>d
阅读全文
摘要：1、说明当不修改PID文件位置时,系统默认会把PID文件生成到/tmp目录下，但是/tmp目录在一段时间后会被删除,所以以后当我们停止HADOOP/HBASE/SPARK时，会发现无法停止相应的进程会警告说：no datanode to stop、no namenode to stop 等，因为PID文件已经被删除，此时只能用kill命令先干掉，所以现在我们需要修改HADOOP/HBASE/SPA...
阅读全文
摘要：1、Ctrl+Shift+Alt+S快捷键进入Project structure(项目结构)管理的界面2、选择左边菜单栏里的Facet，点击后能看到有Deployment Descriptors的输入框3、展开左侧的Web->Web点击右边的那个小加号，会出现一个web.xml文件选项，点击它，然后会有一些配置的选择，这里注意如果要将WEB-INF建立在web文件夹下，需要手动修改路径，默认选择即...
阅读全文
摘要：一、impala存储1、文件类型2、压缩方式二、impala分区1、创建分区方式partitioned by 创建表时，添加该字段指定分区列表：create table t_person(id int, name string, age int) partitioned by (type string);使用alter table 进行分区的添加和删除操作：alter table t_person...
阅读全文
摘要：一、概述Impala 是参照google 的新三篇论文Dremel(大批量数据查询工具)的开源实现，功能类似shark（依赖于hive）和Drill（apache），impala 是clouder 公司主导开发并开源，基于hive并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。是使用cdh 的首选PB 级大数据实时查询分析引擎。(也可以单独安装使用，但一般都是和CDH一起使用；)...
阅读全文
摘要：1、说明hive默认使用分隔符如空格，分号，"|"，制表符\t来格式化数据记录，对于复杂数据类型如json,nginx日志等，就没有办法拆分了，这时候需要更加强大的SerDe来处理复杂数据，如使用JsonSerDe或者使用正则表达式RegSerDe来处理。2、下载jar包json-serde-1.3.8-jar-with-dependencies.jar：http://www.congiu.net...
阅读全文
