04 2018 档案
摘要：1. 首先，vue.js是一种前端框架，一般利用vue创建项目是要搭配webpack项目构建工具的，而webpack在执行打包压缩的时候是依赖node.js的环境的，所以，要进行vue项目的开发，我们首先要安装node.js。node.js的官方地址为：https://nodejs.org/en/d
阅读全文
摘要：Jackson所有的操作都是通过ObjectMapper对象实例来操作的，可以重用这个对象实例。 首先定义一个实例： 定义一个Student类: 准备一个字符串： 常规操作: 字符串转对象 打印输出结果： 常规操作: 对象转字符串 打印输出结果： 如何改变输出的日期字段格式? 两种方式：一种Simp
阅读全文
摘要：目前没发现有什么方便的函数可以直接使用，只能使用concat来手工拼接。 注意将null的字段值转为空，使用nvl函数 1. 如果将hql语句写在script.q文件里面如下: shell select concat('{"data_dt":"',a.data_dt, '","user":"',NV
阅读全文
摘要：这里是window的版本，由微软维护的：
阅读全文
摘要：常用有三种json解析jackson、fastjson、gson。 1. jackson依赖包 2. fastjson 遇到对象转json字符串时,如果对象中的属性字段为null，则不会显示出来。解决方法 3. gson ` `
阅读全文
摘要：使用AOP来说，太方便了，并且特别适合这类场景。 代码如下，这里是将要统计的信息写到log文件中，也可以设计成写入表中。
阅读全文
摘要：什么是跨域？ 跨域，指的是浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的，是浏览器施加的安全限制。 所谓同源是指，域名，协议，端口均相同，不明白没关系，举个栗子： http://www.123.com/index.html 调用 http://www.123.com/server.php
阅读全文
摘要：在开发阶段一直使用以下方式调试没有问题： 但是，打包编译后，放到linux环境下，发现报空指针错误，这里的 不再起作用了，并且返回值为null。 后面采用了下面的方式：
阅读全文
摘要：根据出错信息是找不到hive的位置，所以想到的解决方法是： 1. 在sqoop的workflow中添加job xml，属性写hive site.xml在hdfs上的位置。 (fail) 2. 直接配置一个hive home的属性,类似于下面的 (fail) 3. 在arg参数中添加hive home
阅读全文
摘要：出错在 KStreamFlatMapValues 方法执行时，由于json异常数据无法解析，结果生成的值为null,报错信息如下： 问题解决方案： 1. 对json解析的bean添加未知字段忽略 2. 由于报空指针错误，所以解决空指针问题，即判断为null时创建一个空对象. 3. 完整的示例代码如下
阅读全文
摘要：之前直接改了源码。后来从度娘中找到解决方法： 新增时间异常捕获类MyEventTimeExtractor.class, 直接返回0 然后在属性添加下面配置： 编译执行，ok
阅读全文
摘要：权限不够 注意这里的这个/home/hadoop/king/flume/103104/trackerDir/.flumespool main.meta 文件是个隐藏文件， 刚开始没找到，后面使用ll a找到了。 然后修改权限 chmod 777 /home/hadoop/king/flume/103
阅读全文
摘要：今天居然碰到这个错误，参考以下解决方案： 修改server.properties，然后将每个节点的kafka重启即可解决。 查看集群是否有broker没有运行
阅读全文
摘要：标题1 标题2 +++ 第一件事 +++ 第二件事 +++ 第三件事 |head|头|头栏| |body|body|body|
阅读全文
摘要：一般运行包含manifest的jar包，可以使用 如果jar里没有 manifest，则可以使用 当main类依赖多个jar时，可以把多个jar打包到一个目录，然后用-Djava.ext.dirs指定该目录，引用依赖的多个jar。 如果用-cp则需要写每一个jar，很麻烦。
阅读全文
摘要：程序员就是把一切手工做的事情变成让计算机来做，从而可以让自己偷偷懒。 以下就是个非常low的hive文件夹同步程序，至于节点超过100个或者1000个的，可以加个循环了。
阅读全文
摘要：mapreduce可以直接对hdfs进行清洗和计算，这里介绍oozie中如何调度使用。 操作步骤如下： 案例：统计单词大小。 2.在workflow中可能引用 注意事项： 如果将mapper和reduce写在同一个类中时，在编译后生成的类如下，所以在workflow中填写，按照下面的类填写。
阅读全文
摘要：beeline常用操作： 1. 将查询结果输出到临时文件中 -f 对应查询的脚本 script.q --outputformat=csv2 以逗号分隔 --silent=true 静默方式执行，注意：输出文件的时候必须以静默方式运行，否则输出的文本中带有很多程序执行信息。 上述命令执行完成后发现输出
阅读全文
摘要：1. 文件导入到hdfs 从本地/tmp/path下拷贝文件上传到hive表test中的CHINA分区中。 LOAD DATA LOCAL INPATH '/tmp/path/' OVERWRITE INTO TABLE test PARTITION (country='CHINA') 2. hiv
阅读全文
浙公网安备 33010602011771号