摘要:SparkContext代表和一个集群的连接 在shell中SparkContext是自动创建好的,就是sc
阅读全文
摘要:Hive vs Hadoop Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。 想象你在操作RMDB数据库,如果是全表扫描,就用Hive+Hadoop,如果是索引访问,就用HBase+Hadoop
阅读全文
摘要:1、 2、 3、 单击升级按钮 4、升完级后
阅读全文
摘要:select count(*) from student where age>18 group by 性别 having count(*)>2 order by age where过滤的是行,having过滤的是分组select name,parent_name from student ,pare
阅读全文
摘要:基于airflow官方镜像制作自己的镜像,如给镜像安装pymongo FROM 10.60.10.119:5000/common/air_grpc:0.0.2 USER 0 RUN pip install pymongo USER airflow 镜像里都装了啥,可以通过docker history
阅读全文
摘要:参考资料:《Hadoop 权威指南》 1 map处理完后,hadoop框架会将结果安装键进行排序,然后将排好的结果传给reduce 2 需要低延迟的应用不适合HDFS,对于低延迟应用HBase更适合 3 HDFS中的文件只有一个写入者,而且写操作总是在文件的末尾,不支持多个写入者或在文件任意位置修改
阅读全文
摘要:参考资料:https://blog.csdn.net/cd_xuyue/article/details/52052893 1使用两个循环分别处理start和join函数.即可实现并发. 2 要保证锁对于多个子线程来说是共用的,即不要在Thread的子类内部创建锁.
阅读全文
摘要:JRE vs OpenJDK vs Oracle JDK 在我们继续了解如何安装Java之前,让我们快速地了解JRE、OpenJDK和Oracle JDK之间的不同之处。 JRE(Java Runtime Environment),它是你运行一个基于Java语言应用程序的所正常需要的环境。如果你不是
阅读全文
摘要:参考资料: 了解H2O:http://h2o-release.s3.amazonaws.com/h2o/rel-turchin/9/docs-website/h2o-docs/index.html 安装H2O之前,需要安装jdk: http://docs.h2o.ai/h2o/latest-stab
阅读全文