摘要： spark-shell 整合 hive 1、将 hive/conf/hive-site.xml 拷贝到 spark/conf 下 （目前只是在spark的master节点112，执行以下针对hive-site.xml 和各种jar的 操作，分节点没有操作，可能在做spark HA高可用的时候需要操作 阅读全文

摘要： 本地模式Spark单机运行，一般用于开发测试。Standalone模式构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。Spark on Yarn模式Spark客户端直接连接Yarn。不需要额外构建Spark集群。Spark on Mesos模式Spark客户端直接连接 阅读全文

摘要： 参考 https://www.cnblogs.com/hadoop-dev/p/6742665.html 阅读全文

摘要： 参考： https://blog.csdn.net/focuson_/article/details/80198880 spark 四种部署方式 目前应该是算 standlone 方式，待考察。 备注：zookeeper 的 ha master 切换 目前还没有起作用，待排查问题中。 ++++ sp 阅读全文

摘要： zookeeper安装 参考：https://www.cnblogs.com/shaozm/p/10141727.html 下载 ： wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeep 阅读全文

摘要： 参考 ：https://yq.aliyun.com/articles/370418 在官网下载 wget https://github.com/azkaban/azkaban/archive/3.50.0.tar.gz ++++++++++++++++++++++++++++++++++++++++ 阅读全文

摘要： select REPLACE(t.table_schema, '_', '') AS table_schema ,'rsc' , t.table_name , t2.table_comment ,t.column_name, case when t.column_comment is null or 阅读全文

摘要： sqqop 安装之后 ，有时候 需要把 hive 安装目录下的 hive-common-3.1.2.jar 拷贝到 sqoop目录下（也可能是sqoop没有正确解析到profile中 hive的安装目录变量）。1、##查看 hdfs上的数据 hadoop fs -ls /sqphdfsdata/dh 阅读全文

摘要： 参考 https://blog.csdn.net/jameslvt/article/details/81633338 阅读全文

摘要： sqoop2 安装使用比较麻烦，暂停使用 https://blog.csdn.net/Gamer_gyt/article/details/55225700 sqoop1.0 与sqoop2.0的比较（两者差别比较大）。 参考文档：https://blog.csdn.net/weixin_432410 阅读全文