摘要：
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 1、下载sqoop2的某个版本sqoop-1.99.6-b 阅读全文
摘要：
摘自：http://www.cnblogs.com/yjf512/p/4402096.html postgres中的视图在查询的时候进行扫描子表的操作，而物化视图则是实实在在地将数据存成一张表。物化视图是在9.3 之后才有的东西。 创建一个视图 CREATE OR REPLACE VIEW stud 阅读全文
摘要：
摘自：http://www.tuicool.com/articles/emQZNnN Hadoop系统运行于一个由普通商用服务器组成的计算集群上，该服务器集群在提供大规模分布式数据存储资源的同时，也提供大规模的并行化计算资源。 在大数据处理软件系统上，随着Apache Hadoop系统开源化的发展， 阅读全文
摘要：
我自己翻译自Spark的官网：http://spark.apache.org/docs/latest/spark-standalone.html#starting-a-cluster-manually 之前看了很多中文资料，看得云里雾里，还不如直接看官网呢！既权威又简洁明了。 Spark集群有三种运 阅读全文
摘要：
RT 阅读全文
摘要：
/** * 获取随机的流水号(10位) * @return */ public static String getRandomReqNo() { int length=10; String base = "abcdefghijklmnopqrstuvwxyz0123456789"; Random ... 阅读全文
摘要：
自己用Java编写的时间获取类，目前应用在数据交换监控系统中，经测试可以正常使用。 提供以下功能： Time tt = new Time(); System.out.println("获取昨天日期:" + tt.getyd()); System.out.println("获取当天日期:" + tt. 阅读全文
摘要：
参考http://www.powerxing.com/spark-quick-start-guide/#more-291 和 http://www.thebigdata.cn/Hadoop/29516.html Spark会用到HDFS和YARN。 安装环境： ubuntu 14.04 ，64位 u 阅读全文
摘要：
参考http://www.powerxing.com/install-hadoop/ 安装环境： ubuntu 14.04 ，64位 下载： Oracle JDK 1.7 hadoop2.6 0、新增操作系统用户 sudo useradd -m hadoop -s /bin/bash sudo pa 阅读全文
摘要：
postgresql提供有强大的正则表达式系统，可以在数据库级别实现模糊查询。正则表达式匹配操作符： 例如：找出数据表account中所有用户名包含baidu且不区分大小写的用户的信息。select * from account where username ~* 'baidu';使用正则表达式之后 阅读全文