随笔分类 - bigData-Hadoop
摘要：import-to-hdfs 关系数据库导出数据到hdfs&hive sqoop用于关系数据库和hadoop家族（hdfs、hive、hbase）之间的ETL 数据库导出到hadoop家族：sqoop import hadoop家族导出到数据库：sqoop export 下载：http://www.
阅读全文
摘要：1、把数据仓库从传统关系数据库转到hadoop有什么优势？ 原关系存储方式昂贵 空间有限 hadoop支持结构化（例如 RDBMS），非结构化（例如 images，PDF，docs ）和半结构化（例如 logs，XMLs）的数据可以以可扩展和容错的方式存储在较便宜的商品机器中。 可以通过批处理作业和
阅读全文
摘要：J2EE 框架Spring 开发框架 + SSH or SSM Lucene 索引和查询IKAnalyzer 分词Webmagic 爬虫 ETL工具：KettleSqoop 结构化数据库-hadoop数据萃取。可以将一个关系型数据库（MySQL ,Oracle等）中的数据导进到Hadoop的HDFS
阅读全文
摘要：创建表 hive 查看本地的文件#Can execute local commands within CLI, place a command in between ! and ;!cat data/text.txt; 文件的内容user1,Funny Story,1343182026191user
阅读全文
摘要：1、启动cd <hbase_home>/bin$ ./start-hbase.sh 2、启动hbase shell # find hadoop-hbase dfs fileshadoop fs -ls /hbase #start shellhbase shell #Run a command to
阅读全文
