会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
StephenChou0119
2018年1月9日
Spark Core :RDD与Spark流水线编程模型
摘要: 学会使用Spark中创建RDD的两种方法 结合本文内容解释“不可变性” 能将Spark程序翻译成“变换”和“行为”的流水线 列出创建一个Spark程序的步骤 Driver Program 是Spark程序的起点,它把RDD分发到集群并保证RDD的转化和动作的执行。Driver Program 中包含
阅读全文
posted @ 2018-01-09 20:25 StephenChou0119
阅读(284)
评论(0)
推荐(0)
编辑
2017年12月23日
安装配置Hadoop2.7.5+Spark2.2.1伪分布式环境
摘要: 安装准备: 1.安装配置java1.8.0_141环境 2.增加master节点地址映射 追加如下内容: 127.0.0.1 master 127.0.0.1 iZuf6hxhy307mpxxtvmtb3Z iZuf6hxhy307mpxxtvmtb3Z 是我的阿里云服务器的主机名,防止出现异常:S
阅读全文
posted @ 2017-12-23 14:24 StephenChou0119
阅读(1726)
评论(0)
推荐(0)
编辑
docker使用方法
摘要: 查询docker镜像 下载docker镜像 下载后默认是放到了:/var/lib/docker 查看已下载的docker镜像 运行docker容器 查看正在运行的docker容器 停止正在运行的容器 删除容器 容器的交互式操作 -t 在新容器内指定一个伪终端或终端,-i 允许我们对容器内的 (STD
阅读全文
posted @ 2017-12-23 11:26 StephenChou0119
阅读(149)
评论(0)
推荐(0)
编辑
2017年12月21日
本地文件系统命令
摘要: 浏览文件系统 ls 列出目录中的内容 cd 更改当前目录 pwd 查看当前工作空间在哪个目录 du 查看目录中内容占用了多少存储空间 df 查看文件系统的空间占用与剩余 管理文件系统 mkdir 创建目录 cp 拷贝文件或目录 mv 移动文件或目录 rm 删除或重命名文件或目录 touch 创建文件
阅读全文
posted @ 2017-12-21 16:44 StephenChou0119
阅读(198)
评论(0)
推荐(0)
编辑
2017年12月19日
有意义的命名
摘要: 选个好名字需要花时间,但省下的时间更多。 一旦发现有更好的名字,就换掉旧的。 名副其实 名称应该已经答复了所有的大问题,如它为什么会存在,它做什么,怎么用。尽量让名字不需要注释来补充解释说明。 例1 代码足够简洁了,但意思却很模糊。 此为扫雷程序,theList是盘面,每个单元格都用一个简单数组表示
阅读全文
posted @ 2017-12-19 16:34 StephenChou0119
阅读(204)
评论(0)
推荐(0)
编辑
2017年12月18日
整洁代码
摘要: 告知项目经理自己的想法 多数经理想要知道实情,即便他们看起来不喜欢实情。 多数经理想要好代码,即便他们总是痴缠于进度。 医生按照病人说的办,就是一种不专业的态度;程序员遵循不了解混乱风险的经理的意愿,也是一种不专业的做法。 整洁代码的内涵 糟糕的代码引发混乱,别人修改糟糕的代码,往往越改越烂。 每个
阅读全文
posted @ 2017-12-18 16:30 StephenChou0119
阅读(139)
评论(0)
推荐(0)
编辑
2017年12月15日
软件系统复杂性(1/2)
摘要: 1.1节介绍物理世界复杂系统实例(个人计算机、动植物、物质、社会机构)。1.2节讨论软件系统的复杂性,可以说软件系统比自然界的复杂性还要高,并讨论了导致软件系统复杂的四大原因。1.3节总结了复杂系统的5大属性,读者可以结合1.1节中直观的实例对其进行思考与理解。 摘录: 某些软件系统并不复杂,这些大
阅读全文
posted @ 2017-12-15 17:05 StephenChou0119
阅读(317)
评论(0)
推荐(0)
编辑
公告
导航
博客园
首页
新随笔
新文章
联系
订阅
管理