Smilence^^ - 博客园

2017年12月7日

mysql

摘要： sql语法并没有多复杂，复杂的是业务逻辑，记录的是思路阅读全文

posted @ 2017-12-07 15:34 Smilence^^ 阅读(261) 评论(0) 推荐(0) 编辑

2017年11月24日

hive查询结果输出到hdfs上

摘要：将上述sql保存到yesterdayInetrest.sql文件中执行hive -hiveconf day=20171204 -f yesterdayInterest.sql 实现参数传递阅读全文

posted @ 2017-11-24 15:25 Smilence^^ 阅读(2449) 评论(0) 推荐(0) 编辑

sqoop： mysql to hive

摘要：注：--target-dir 为临时目录，原因是因为sqoop导数据到hive会先将数据导入到HDFS上，然后再将数据load到hive中，最后把这个目录再删除掉。当这个目录存在的情况下，就会报错。当mysql的字段中存在换行符时需要使用--hive-drop-import-delims 去除换行阅读全文

posted @ 2017-11-24 13:52 Smilence^^ 阅读(409) 评论(0) 推荐(0) 编辑

2017年11月23日

第二个MapReduce

摘要：大家在学习Hadoop的MapReduce的时候，90%的第一个程序都是WordCount，所以在这里分享一下我的第二个MapReduce程序。对于学习编程语言的人来说，有时候代码是最好的沟通方式之一。对于看懂mapReduce这个程序，有一个非常关键的点就是：map每次读取一行数据，相同key的阅读全文

posted @ 2017-11-23 14:17 Smilence^^ 阅读(160) 评论(0) 推荐(0) 编辑

2017年11月21日

重启mysql主从同步mongodb（tungsten-replicator）

摘要： 1. 连接mysql 2. 停止主同步 3. 清数据将mongo库数据清空 4. 杀主同步进程 5. 从库、Mongo库服务器删除opt下文件 6. 删除从库数据库中的同步工具数据库tungsten_mysql2mongodb 删除Mongo数据库中的同步工具数据库tungsten_mysql2 阅读全文

posted @ 2017-11-21 08:47 Smilence^^ 阅读(1057) 评论(0) 推荐(0) 编辑

2017年11月20日

tungsten-replicator安装

摘要：需要环境 ruby1.8.5 or laterJava1.6 or later 应用程序对外开放接口 3306 (MySQL database)2112 (Tungsten THL)10000 (Tungsten RMI)10001 (JMX management) 首先配置主服务器（192.168 阅读全文

posted @ 2017-11-20 09:55 Smilence^^ 阅读(1646) 评论(0) 推荐(0) 编辑