摘要:
mysql使用存储过程,创建日历表: 准备日历表: CREATE TABLE `m_dim_day` ( `ID` int(11) NOT NULL AUTO_INCREMENT, `DAY_ID` varchar(10) DEFAULT NULL, `DAY_SHORT_DESC` varchar 阅读全文
摘要:
首先说下解析的数据如下: 刚开始看,这个就是一个Map结构嵌套了Map,再嵌套了一个数组结构。通常情况下的表结构定义如下: 这样当数据来直接插入到hdfs中,然后利用explode就可以一行转多行扩展开了。 但是我的需求是这个actionInfo中的字段不固定的,可能是任意的结构,所以我定义的表结构 阅读全文
摘要:
偷懒,参考这里 https://www.cnblogs.com/taiyonghai/p/6728707.html 阅读全文
摘要:
https://blog.csdn.net/flysun3344/article/details/54707965 阅读全文
摘要:
使用了最新的java8的java.time类,并提供了LocalDateTime和java.util.Date之间的转换。 使用方法: randomLocalDateTime(-3,3) : 取距离今天前后2天的日期。如果今天为7月12日,则日期随机范围为7月10日~7月14日 测试方法 : 测试结 阅读全文
摘要:
jmx端口主要用来监控kafka集群的。 在启动kafka的脚本kafka-server-start.sh中找到堆设置,添加export JMX_PORT="9999" 或者在启动脚本中添加如下: 这样在kafka-manager中就不会看到出错信息了。 阅读全文
摘要:
l1. mac上软件清单 https://github.com/jaywcjlove/awesome-mac/blob/master/README-zh.md 2. 系统设置 2. 1 Mac 设置安全与隐私没有允许任何来源选项 通过一下命令即可实现 通过以上命令执行后,即可看到任何来源这个选择项: 阅读全文
摘要:
在mirrors的节点中添加: 阅读全文
摘要:
标题很长:通过shell脚本来rerun一个oozie调度失败的job,从而可以跳过执行失败的节点 不过目前从oozie调度测试的例子来看,oozie本身的retry好像并没有参数可以控制跳过失败的节点。必须手工重新rerun的时候指定 -D oozie.wf.rerun.failnodes=fal 阅读全文
摘要:
今天帮朋友解决一个问题,朋友的框架用的layui的,发现layui的里面的data.field不能获取动态生成的标签的值的。 于是使用jquery的方法如下: 阅读全文
摘要:
今天修改了和journalNode通信的zookeeper配置,原来没有打开zookeeper动态清理快照的功能。 所以3台zookeeper节点,每台修改完配置后,然后重启了下zookeeper服务。 然后就发现hadoop集群发生脑裂了,并且两台namenode节点都是standby状态。 经过 阅读全文
摘要:
今天运维教我的磁盘扩容的一串命令,暂时没空研究了,留着以后可能会用到的。 root账号登录: fdisk -l 阅读全文
摘要:
从3.4版本以后,在配置文件中有2个参数分别设置快照的清理。默认没有打开。 阅读全文
摘要:
之前一直没做过rebalance,以为速度很快,结果大意了,等到磁盘达到90%的时候,才开始做rebalance。 默认的从日志中可以看到总共需要迁移1.89T,但是每次只移动40G大小的量。 然后查看40G的数据量从15:45分到15:48分,所以结算结果为每分钟13G,每秒228M左右。(感觉这 阅读全文
摘要:
redis集群的搭建 https://www.cnblogs.com/kangoroo/p/7657616.html 另外集群中的key的存放: 首先,redis集群一共分配16384个槽 然后根据key值进行hash后,根据hash的结果值存储到对应的某个槽中。 所以我在window上通过redi 阅读全文
摘要:
mport org.apache.commons.lang.time.DateUtils; import org.joda.time.DateTime; import org.joda.time.Duration; import org.junit.Test; import java.time.LocalDateTime; import java.time.temporal.ChronoU... 阅读全文
摘要:
前几个月进行的大数据架构的升级: 原来的大数据集群的状况如下: 1)主从模式,从多个日志源采集后, 2)接收端只用了1个flume接收,存储到hdfs上。 3)并不支持实时的数据清洗。 4)存储到hive系统的数据归类不合理,数据没有明显的层级关系,全部从多个源表直接计算输出结果。 另外,原来的同事 阅读全文
摘要:
一共有以下三种: 分别对应的是: obj1: 字符串拼接 obj2: 对象数组,都是name,vlaue obj3: 对象 obj4: json字符串 应用场景: 1. 使用easyui中的datagrid表格控件展示数据的时候,在查询的页面中使用如下: 2. ajax向后台提交数据时: 如果一个表 阅读全文