06 2018 档案

spark学习笔记2
摘要:SparkContext代表和一个集群的连接 在shell中SparkContext是自动创建好的,就是sc 阅读全文

posted @ 2018-06-30 17:50 我和你并没有不同 阅读(85) 评论(0) 推荐(0) 编辑

hadoop 学习笔记2
摘要:Hive vs Hadoop Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。 想象你在操作RMDB数据库,如果是全表扫描,就用Hive+Hadoop,如果是索引访问,就用HBase+Hadoop 阅读全文

posted @ 2018-06-28 22:15 我和你并没有不同 阅读(102) 评论(0) 推荐(0) 编辑

伪主备
摘要:1、 2、 3、 单击升级按钮 4、升完级后 阅读全文

posted @ 2018-06-20 14:29 我和你并没有不同 阅读(221) 评论(0) 推荐(0) 编辑

tst
摘要:select count(*) from student where age>18 group by 性别 having count(*)>2 order by age where过滤的是行,having过滤的是分组select name,parent_name from student ,pare 阅读全文

posted @ 2018-06-20 11:45 我和你并没有不同 阅读(221) 评论(0) 推荐(0) 编辑

airflow
摘要:基于airflow官方镜像制作自己的镜像,如给镜像安装pymongo FROM 10.60.10.119:5000/common/air_grpc:0.0.2 USER 0 RUN pip install pymongo USER airflow 镜像里都装了啥,可以通过docker history 阅读全文

posted @ 2018-06-17 15:35 我和你并没有不同 阅读(384) 评论(0) 推荐(0) 编辑

hadoop 学习笔记
摘要:参考资料:《Hadoop 权威指南》 1 map处理完后,hadoop框架会将结果安装键进行排序,然后将排好的结果传给reduce 2 需要低延迟的应用不适合HDFS,对于低延迟应用HBase更适合 3 HDFS中的文件只有一个写入者,而且写操作总是在文件的末尾,不支持多个写入者或在文件任意位置修改 阅读全文

posted @ 2018-06-09 11:55 我和你并没有不同 阅读(132) 评论(0) 推荐(0) 编辑

Python多线程中阻塞(join)与锁(Lock)的使用误区
摘要:参考资料:https://blog.csdn.net/cd_xuyue/article/details/52052893 1使用两个循环分别处理start和join函数.即可实现并发. 2 要保证锁对于多个子线程来说是共用的,即不要在Thread的子类内部创建锁. 阅读全文

posted @ 2018-06-07 22:05 我和你并没有不同 阅读(1028) 评论(0) 推荐(0) 编辑

H2O 笔记之使用(非基于hadoop)
该文被密码保护。

posted @ 2018-06-06 19:22 我和你并没有不同 阅读(8) 评论(0) 推荐(0) 编辑

JRE vs OpenJDK vs Oracle JDK
摘要:JRE vs OpenJDK vs Oracle JDK 在我们继续了解如何安装Java之前,让我们快速地了解JRE、OpenJDK和Oracle JDK之间的不同之处。 JRE(Java Runtime Environment),它是你运行一个基于Java语言应用程序的所正常需要的环境。如果你不是 阅读全文

posted @ 2018-06-06 14:19 我和你并没有不同 阅读(436) 评论(0) 推荐(0) 编辑

H2O 笔记之安装
摘要:参考资料: 了解H2O:http://h2o-release.s3.amazonaws.com/h2o/rel-turchin/9/docs-website/h2o-docs/index.html 安装H2O之前,需要安装jdk: http://docs.h2o.ai/h2o/latest-stab 阅读全文

posted @ 2018-06-06 09:42 我和你并没有不同 阅读(1496) 评论(0) 推荐(0) 编辑