摘要: https://www.jianshu.com/p/e90e580c0fc9 阅读全文
posted @ 2019-07-22 21:24 开发小拉拉 阅读(205) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/bjweimengshu/article/details/79256504 from Wikipedia 在计算机科学中,数据仓库(data warehouse,简称DW或DWH)也叫做企业数据仓库(EDW),是一种对数据进行分析和报表的系统,是商业智能( 阅读全文
posted @ 2019-07-22 21:05 开发小拉拉 阅读(1184) 评论(0) 推荐(0) 编辑
摘要: 文章出处 jar包和war包的介绍和区别 https://www.jianshu.com/p/3b5c45e8e5bd 阅读全文
posted @ 2019-07-22 20:22 开发小拉拉 阅读(366) 评论(0) 推荐(0) 编辑
摘要: 详情https://www.cnblogs.com/wangiqngpei557/p/6058115.html 大家在删除远程分支后 git branch -a 还是可以看到已删除的远程分支,时间一长就显的非常乱了 以下是解决方法: git remote show origin //可以看到删除分支 阅读全文
posted @ 2019-07-22 16:14 开发小拉拉 阅读(761) 评论(0) 推荐(0) 编辑
摘要: git merge了错误分支,如何优雅的回退到merge前的状态? 没push的话 git reset --hard (a分支5点那个时候commit之后的sha1) 然后重新 git merge 阅读全文
posted @ 2019-07-22 10:16 开发小拉拉 阅读(5011) 评论(3) 推荐(0) 编辑
摘要: git add . 将当前目录下修改的所有代码从工作区添加到暂存区 . 代表当前目录 git commit -m " 注释" 将缓存区内容添加到本地仓库 git fetch git merge feature-batch-load git push origin rc 将本地版本库推送到远程服务器 阅读全文
posted @ 2019-07-22 10:16 开发小拉拉 阅读(127) 评论(0) 推荐(0) 编辑
摘要: 主要组件 1.Sqoop Client 定义了用户使用Sqoop的方式,包括客户端命令行CLI和浏览器两种方式,浏览器允许用户直接通过Http方式完成Sqoop的管理和数据的导出 2.Sqoop Server 1)Connector:所有Connector的实现放置到Sqoop server端,且C 阅读全文
posted @ 2019-07-18 21:36 开发小拉拉 阅读(422) 评论(0) 推荐(0) 编辑
摘要: 当用户通过shell命令提交迁移作业后,Sqoop会从关系型数据库中读取元信息,并根据并发度和数据表大小将数据划分成若干分片,每片交给一个Map Task处理,这样多个Map Task同时读取数据库中当数据,并行当将数据写入目标存储系统,比如HDFS、HBase和Hive等。 缺点 1.Connec 阅读全文
posted @ 2019-07-17 21:38 开发小拉拉 阅读(254) 评论(0) 推荐(0) 编辑
摘要: Sqoop应用场景: 1.数据迁移,将关系型数据库中的数据导入Hadoop存储系统 2.可视化分析结果,将Hadoop处理之后产生的结果导入关系型数据库,以便进行可视化展示 3.数据增量导入:减少hadoop分析过程中对关系型数据库对性能,通常将数据单独导入一份到hadoop存储系统中。 Sqoop 阅读全文
posted @ 2019-07-17 21:09 开发小拉拉 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 数据分析层:Hive SparkSQL、Apache Beam、Mabout MLLib 计算引擎层:MapReduce Tez、Spark、Impala Presto、Storm Spark Streaming 资源管理与服务协调:YARN、ZooKeeper 数据存储层:序列化与文件格式、HDF 阅读全文
posted @ 2019-07-16 21:29 开发小拉拉 阅读(132) 评论(0) 推荐(0) 编辑