摘要：
#!/bin/bashexport LANG="en_US.UTF-8"#设定时间变量，为前一天时间log_date=`date +%Y-%m-%d -d "-1 days"`#清空hive上的数据，再重建一个文件夹hadoop dfs -rm -r /hjh/channelshadoop dfs ... 阅读全文
摘要：
/opt/sqoop-1.4.4/bin/sqoop export --table mytablename --connect jdbc:oracle:thin:@**.**.**.**:***:dbasename --username myusername--password mypassword... 阅读全文
摘要：
1.在IDEA上建立一个sparksql_mysql的scala对象。 2.连接mysql的代码如下 import java.sql.{DriverManager, PreparedStatement, Connection} import org.apache.spark.rdd.JdbcRDD 阅读全文
摘要：
1.安装mysql，可参考下面链接http://www.cnblogs.com/liuchangchun/p/4099003.html2.安装hive,之前，先在mysql上创建一个hive,数据库，并在hive数据库中建立表usercreate database hive;use hive;cre... 阅读全文
摘要：
1.建立spakTesk项目，建立scala对象Test 2.Tesk对象的代码如下 本地测试hive的话，代码如下： 注意：需要把hive-site.xml放到项目目录下，新建Resources设置为Resources root 3.设置本地运行，在IDEA的右上角-点开Edit Configur 阅读全文
摘要：
记下常用命令，慢慢补充 1.hadoop 查看hdfs上的目录： hadoop fs -ls /给hdfs上目录授予权限: hadoop fs -chmod 777 /tmp/hive 在hdfs上创建一个目录： hadoop fs -mkdir /jiatest 把文件上传到hdfs指定目录: h 阅读全文
摘要：
1. 配置路径sudo gedit /etc/profile2.在文件后面加入export PATH=/home/sendi/scala-2.11.7/bin:$PATH3.更新source /etc/profile4. 查看，输入scala -version sendi@sendi-Aspire-... 阅读全文
摘要：
1.引入spark包：spark-assembly-1.4.0-hadoop2.6.0,在spark的lib目录下 File-->project structure 2.用IDEA建立一个scala项目，新建一个WordCount的object 3.WordCount代码如下： import org 阅读全文
摘要：
1.在使用Python连接hive之前需要将hive中的文件拷贝到自己创建python项目中 cp -r apache-hive-0.14.0-bin/lib/py /home/jia/Desktop2.把hive上的py目录下载到桌面之后，进入py目录，复制里面所有的文件到你创建的python项目... 阅读全文
摘要：
环境：spark1.4.0,hadoop2.6.01.安装好jdk2.在spark的conf目录下找到spark-env.sh.template，打开，在后面加上export SCALA_HOME=/home/jiahong/scala-2.11.6export JAVA_HOME=/home/ji... 阅读全文