上一页 1 ··· 69 70 71 72 73 74 75 76 77 ··· 79 下一页

spark 基本操作

摘要: 结果如下: 阅读全文
posted @ 2018-05-20 17:10 我和你并没有不同 阅读(395) 评论(0) 推荐(0) 编辑

hdfs mapreduce hbase

摘要: 参考资料:http://www.cnblogs.com/sharpxiajun/p/5585613.html 大数据时代的数据量是超大规模的,传统的关系数据库已经很难存储和管理这些数据了,为了存储海量数据,我们有了HDFS,它可以把成千上万台服务器上的硬盘聚集成一块超级大的硬盘,为了让这些数据产生价 阅读全文
posted @ 2018-05-19 22:51 我和你并没有不同 阅读(129) 评论(0) 推荐(0) 编辑

spark学习笔记

摘要: Spark通过减少磁盘IO来达到性能的提升 为了适应迭代计算,Spark将经常被重用的数据缓存到内存中以提升数据读取速度,当内存容量有限的时候则将数据存入磁盘中或根据最近最少使用页面置换算法(Least Recently Used,LRU)算法将内存中使用频率较低的文件空间收回,从而让新的数据进来 阅读全文
posted @ 2018-05-13 22:43 我和你并没有不同 阅读(116) 评论(0) 推荐(0) 编辑

docker学习笔记2

摘要: 修改容器时间为北京时间 容器内部创建Asia时区文件 echo Asia/Shanghai >/etc/timezone localtime可以从宿主机拷贝到容器内部(exit退出容器,在宿主机上操作docker cp) docker cp /usr/share/zoneinfo/Asia/Shan 阅读全文
posted @ 2018-04-02 15:59 我和你并没有不同 阅读(176) 评论(0) 推荐(0) 编辑

磁盘空间查看

该文被密码保护。 阅读全文
posted @ 2018-04-02 11:02 我和你并没有不同 阅读(16) 评论(0) 推荐(0) 编辑

kafka读书笔记《kafka权威指南》2018

摘要: 1、有了分区,可以多个client消费一个topic,有了分区,可以将一个topic 分散在多个broker 2、kafka通过复制实现可靠,通过横向扩展提高性能(如增加分区、客户端、增加broker) 3、消费者占用网络流量,而复制、镜像也会占用网络流量。如果网络接口出现饱和,那么集群的复制出现延 阅读全文
posted @ 2018-03-31 19:50 我和你并没有不同 阅读(297) 评论(0) 推荐(0) 编辑

mongodb

摘要: MONGO优缺点: 1海量查询是mongo更快 2mongo可以存储文件 3mongo不需要定义数据结构:字段个数,字段类型【NoSQL可能更加适合初始化数据还不明确或者未定的项目中。】 4mongo可以通过集合分片实现水平扩展,应用不用关注数据是否被分散到多个机器(sql可以垂直扩展:增加CPU、 阅读全文
posted @ 2018-03-27 19:50 我和你并没有不同 阅读(214) 评论(0) 推荐(0) 编辑

postgre

摘要: 删除数据库:dropdb -h 172.31.3.79 -p 5432 -U postgres zcy_test while read line; do echo $line cmd="SELECT pg_terminate_backend($line);" psql -h 172.31.3.79 阅读全文
posted @ 2018-03-23 13:08 我和你并没有不同 阅读(546) 评论(0) 推荐(0) 编辑

彻底卸载tv

摘要: 1、卸载 2、C:\Program Files (x86),找到teamviewer选项,右击删除 3、开始--输入regedit,打开注册表,找到如下路径:HKEY_LOCAL_MACHINE\SOFEWARE\Wow6432Node\TeamViewer,右击删除 4、运行,输入输入%appda 阅读全文
posted @ 2018-03-17 08:37 我和你并没有不同 阅读(643) 评论(0) 推荐(0) 编辑

airflow 实战

摘要: def print_hello(*a,**b): print a print " " print b print 'Hello world!' raise ValueError("pre_paths or find_svr is null") return {"hello":"Hello world 阅读全文
posted @ 2018-03-08 20:18 我和你并没有不同 阅读(1034) 评论(0) 推荐(0) 编辑
上一页 1 ··· 69 70 71 72 73 74 75 76 77 ··· 79 下一页