11 2019 档案

摘要:不多说,直接上干货! 问题详情 电脑8G,目前搭建3节点的spark集群,采用YARN模式。 master分配2G,slave1分配1G,slave2分配1G。(在安装虚拟机时) export SPARK_WORKER_MERMORY=1g (在spark-env.sh) 其实这个问题解决办法很简单 阅读全文
posted @ 2019-11-25 18:29 sandea 阅读(2083) 评论(0) 推荐(0) 编辑
摘要:==> 什么是parquet Parquet 是列式存储的一种文件类型 ==> 官网描述: Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless 阅读全文
posted @ 2019-11-23 19:32 sandea 阅读(4041) 评论(1) 推荐(0) 编辑
摘要:原文 Parquet 列式存储格式 面向分析型业务的列式存储格式 由 Twitter 和 Cloudera 合作开发,2015 年 5 月从 Apache 的孵化器里毕业成为 Apache 顶级项目 列式存储 列式存储和行式存储相比有哪些优势呢? 当时 Twitter 的日增数据量达到压缩之后的 1 阅读全文
posted @ 2019-11-23 19:30 sandea 阅读(1234) 评论(0) 推荐(0) 编辑
摘要:微信搜索lxw1234bigdata | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者 微信搜索lxw1234bigdata | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者 Spark动态资源分配-Dynamic Resource All 阅读全文
posted @ 2019-11-22 15:06 sandea 阅读(1334) 评论(0) 推荐(0) 编辑
摘要:以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统: Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置 环境变量:可以通过每个节点的conf/spark-env.sh脚本设置 阅读全文
posted @ 2019-11-22 14:48 sandea 阅读(8587) 评论(0) 推荐(0) 编辑
摘要:版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/huihui940630/article/details/80854044之前一直使用sublime的sftp上传,感觉很方便,配置也很简单。 阅读全文
posted @ 2019-11-18 17:15 sandea 阅读(1130) 评论(0) 推荐(0) 编辑
摘要:1. 镜像仓库 1.1 docker search [OPTIONS] TERM // 搜索镜像 选项说明示例 -f, --filter filter 根据条件筛选 --filter=is-automated=true // 只列出 automated build类型的镜像 --filter=sta 阅读全文
posted @ 2019-11-14 20:37 sandea 阅读(4910) 评论(0) 推荐(0) 编辑
摘要:简洁版: 详情版: 阅读全文
posted @ 2019-11-14 13:55 sandea 阅读(485) 评论(0) 推荐(0) 编辑
摘要:Volume概念 众所周知,Docker Image可以理解成多个只读文件叠加而成,因此Docker Image是只读的。 当我们将其运行起来,就相当于在只读的Image外包裹了一层读写层变成了容器。 当你删除容器之后,使用这个镜像重新创建一个容器,此时的镜像的只读层还和原来的一样,但是你在读写层的 阅读全文
posted @ 2019-11-09 19:24 sandea 阅读(505) 评论(0) 推荐(0) 编辑
摘要:一、什么是进程,什么是线程? 1.1 进程 进程中包括有多个线程,进程与进程之间是相对比较独立的。 进程中有一个逻辑内存,每个进程都会有分配到一个独立的内存空间,还分配了一个文件/网络句柄, 句柄类似一个标识符,所有的进程所或多或少都有一定的句柄数的引用,句柄实际上是一个指针,指向一块包含具体信息数 阅读全文
posted @ 2019-11-01 15:44 sandea 阅读(2737) 评论(0) 推荐(0) 编辑
摘要:作者丨阮一峰 http://www.ruanyifeng.com/blog/2013/04/processes_and_threads.html 进程(process)和线程(thread)是操作系统的基本概念,但是它们比较抽象,不容易掌握。最近,我读到一篇材料,发现有一个很好的类比,可以把它们解释 阅读全文
posted @ 2019-11-01 15:28 sandea 阅读(257) 评论(0) 推荐(0) 编辑
摘要:版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/konkon2012/article/details/96482548为了加快查询,我们通常根据Where条件创建索引!那么分区后再创建索引, 阅读全文
posted @ 2019-11-01 11:47 sandea 阅读(1013) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示