摘要：
命令行操作之Create Command1、Create Connection Functioncreate connection --cid 1 说明：Create new connection object for connector with id sqoop:000> create conn... 阅读全文
2015年1月8日 #
2015年1月7日 #
摘要：
需求：将hive数据库中的TBLS表导出到HDFS之上； $SQOOP2_HOME/bin/sqoop.sh client sqoop:000> set server --host hadoop000 --port 12000 --webapp sqoopServer is set successf... 阅读全文
摘要：
正在准备做Spark SQL external data source与关系型数据库交互的部分，参考下Sqoop2是如何操作关系型数据库的。下载地址：http://archive.cloudera.com/cdh5/cdh/5/下载并安装：cd /home/spark/app/wget http:/... 阅读全文
2014年12月29日 #
摘要：
今天在测试spark-sql运行在yarn上的过程中，无意间从日志中发现了一个问题：spark-sql --master yarn14/12/29 15:23:17 INFO Client: Requesting a new application from cluster with 1 NodeM... 阅读全文
2014年12月25日 #
摘要：
当用beeline连接default后，通过use xxx切换到其他数据库，再退出，再次使用beeline -u jdbc:hive2://hadoop000:10000/default -n spark连接到default，此时后台连接的其实还是xxx测试步骤:1、beeline -u jdbc:... 阅读全文
2014年12月24日 #
摘要：
下载源码&编译：git clone https://github.com/databricks/spark-csv.gitsbt/sbt assemblyMaven GAV：groupId: com.databricks.sparkartifactId: spark-csv_2.10version:... 阅读全文
摘要：
下载源码&编译：git clone https://github.com/databricks/spark-avro.gitsbt/sbt packageMaven GAV：groupId: com.databricks.sparkartifactId: spark-avro_2.10version... 阅读全文
2014年12月23日 #
摘要：
在Spark1.2.0版本中是用parquet存储类型时注意事项：sql语句：select * from order_created_dynamic_partition_parquet;在spark-sql中执行结果：2014-05 [B@4621484a [B@3311163e2014-0... 阅读全文
2014年12月1日 #
摘要：
启动spark-sql执行sql时，在监控页面中看到该Application的Name是SparkSQL:hadoop000(其中hadoop000是测试机器的hostname)，就有个想法，修改下该application的name，在spark-sql --help中看到--name NAME的参... 阅读全文
2014年11月29日 #
摘要：
HDFS案例代码Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop000:8020"), configuration); ... 阅读全文