2019年3月18日
sqoop学习
摘要： 官网（包含文档） http://sqoop.apache.org/ http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html 基础操作网站 https://blog.csdn.net/qq_25948717/article/details/8116 阅读全文
posted @ 2019-03-18 10:42 pursue330 阅读(484) 评论(0) 推荐(0) 编辑
sqoop安装配置
摘要： hive pig sqoop 三者都是hadoop中间键 下载地址http://sqoop.apache.org/ 稳定版1.4.7 通过本地文件放入Linux环境里（本人放在/home/hadoop/下面） tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 阅读全文
posted @ 2019-03-18 10:20 pursue330 阅读(3871) 评论(0) 推荐(0) 编辑
2019年3月16日
个人实用及问题解决链接
摘要： sparkAPI SQL出错连接 https://blog.csdn.net/zhao897426182/article/details/78284327 个人GitHub https://github.com/zhangwenbo329/learngit git下载 https://git-scm 阅读全文
posted @ 2019-03-16 11:02 pursue330 阅读(164) 评论(0) 推荐(0) 编辑
新整理链接
摘要： w3school学习 https://www.w3cschool.cn/ 尚硅谷视频学习 https://space.bilibili.com/302417610?spm_id_from=333.788.b_765f7570696e666f.1 http://www.atguigu.com/open 阅读全文
posted @ 2019-03-16 10:40 pursue330 阅读(255) 评论(0) 推荐(0) 编辑
大致（主要hadoop）软件下载地址
摘要： jdk-8u181-linux-x64.tar.gz https://www.oracle.com/technetwork/java/javase/downloads/index.html hadoop-2.7.2.tar.gz http://archive.apache.org/dist/hado 阅读全文
posted @ 2019-03-16 10:25 pursue330 阅读(390) 评论(0) 推荐(0) 编辑
大致所需要端口号
摘要： FTP（文件传输）协议代理服务器常用端口号：21 Telnet（远程登录）协议代理服务器常用端口号：23 HTTP服务器，默认端口号为80/tcp（木马Executor开放此端口） HTTPS（securely transferring web pages）服务器，默认端口号为443/tcp 443 阅读全文
posted @ 2019-03-16 10:11 pursue330 阅读(717) 评论(0) 推荐(0) 编辑
HBASE--MapReduce
摘要： 1、查看 HBase 的 MapReduce 任务的执行 $ bin/hbase mapredcp 2、执行环境变量的导入 $ export HBASE_HOME= ~/hadoop_home/hbase-1.2.6$ export HADOOP_HOME= ~/hadoop_home$ expor 阅读全文
posted @ 2019-03-16 07:33 pursue330 阅读(550) 评论(0) 推荐(0) 编辑
hbase项目
摘要： 四、HBase 项目4.1、涉及概念梳理：命名空间4.1.1、命名空间的结构 1) Table：表，所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定， 则在 default 默认的命名空间中。2) RegionServer group：一个命名空间包含了默认的 RegionServe 阅读全文
posted @ 2019-03-16 00:12 pursue330 阅读(360) 评论(0) 推荐(0) 编辑
2019年3月15日
HBASE与hive对比使用以及HBASE常用shell操作。与sqoop的集成
摘要： 2.6、与 Hive 的集成2.6.1、HBase 与 Hive 的对比1) Hive(1) 数据仓库Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系，以方 便使用 HQL 去管理查询。(2) 用于数据分析、清洗Hive 适用于离线的数据分析和清洗，延迟较 阅读全文
posted @ 2019-03-15 23:45 pursue330 阅读(386) 评论(0) 推荐(0) 编辑
HBASE的优化、hadoop通用优化，Linux优化，zookeeper优化，基础优化
摘要： HBase 的优化3.1、高可用在 HBase 中 Hmaster 负责监控 RegionServer 的生命周期，均衡 RegionServer 的负载，如果Hmaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 Hmast 阅读全文
posted @ 2019-03-15 21:46 pursue330 阅读(579) 评论(0) 推荐(0) 编辑