上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 14 下一页
摘要: Spark作业执行流程 Local模式 运行Spark最简单的方法是通过Local模式(即伪分布式模式)。 运行命令为:./bin/run-example org.apache.spark.examples.SparkPi local 基于standalone的Spark架构与作业执行流程 Stan 阅读全文
posted @ 2017-04-13 17:11 hadoop_dev 阅读(816) 评论(0) 推荐(0) 编辑
摘要: Dubbo建议使用Zookeeper作为服务的注册中心。 1. Zookeeper的作用: zookeeper用来注册服务和进行负载均衡,哪一个服务由哪一个机器来提供必需让调用者知道,简单来说就是ip地址和服务名称的对应关系。当然也可以通过硬编码的方式把这种对应关系在调用方业务代码中实现,但是如果提 阅读全文
posted @ 2017-04-11 17:40 hadoop_dev 阅读(2110) 评论(0) 推荐(0) 编辑
摘要: 作者:张云龙链接:https://www.zhihu.com/question/20790576/answer/32602154来源:知乎著作权归作者所有,转载请联系作者获得授权。 前百度工程师,曾负责百度 前端集成解决方案 的核心设计与开发工作。我现在称这个领域为【前端工程】。没错,这是我最爱唠叨 阅读全文
posted @ 2017-04-08 23:15 hadoop_dev 阅读(336) 评论(0) 推荐(0) 编辑
摘要: 作者:xlzd链接:https://www.zhihu.com/question/20657269/answer/101795180来源:知乎著作权归作者所有,转载请联系作者获得授权。1. 初始阶段的网站架构 一般来讲,大型网站都是从小型网站发展而来,一开始的架构都比较简单,随着业务复杂和用户量的激 阅读全文
posted @ 2017-04-08 23:12 hadoop_dev 阅读(693) 评论(0) 推荐(0) 编辑
摘要: 网络由下往上分为: 物理层-- 数据链路层-- 网络层-- IP协议 传输层-- TCP协议 会话层-- 表示层和应用层-- HTTP协议 1、TCP/IP连接 手机能够使用联网功能是因为手机底层实现了TCP/IP协议,可以使手机终端通过无线网络建立TCP连接。TCP协议可以对上层网络提供接口,使上 阅读全文
posted @ 2017-04-08 23:00 hadoop_dev 阅读(339) 评论(0) 推荐(0) 编辑
摘要: 在PHP面试中 经常碰到请阐述session与cookie的区别与联系,以及如何修改两者的有效时间。 大家都知道,session是存储在服务器端的,cookie是存储在客户端的,session依赖于cookie,但是让你说详细点,你会吗?我是不太清楚的,特意在网上找了很多资料,发现一篇不错的文章,特 阅读全文
posted @ 2017-04-08 22:59 hadoop_dev 阅读(340) 评论(0) 推荐(0) 编辑
摘要: 作者:王燚光链接:https://www.zhihu.com/question/33270495/answer/93424104来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 输入可能以多个文件的形式存储在HDFS上,每个File都包含了很多块,称为Block。当Sp 阅读全文
posted @ 2017-04-05 16:17 hadoop_dev 阅读(21564) 评论(0) 推荐(0) 编辑
摘要: 磁盘也是由数据块组成的,一般默认大小是512字节,构建磁盘之上的文件系统一般是磁盘块的整数倍。 HDFS也是采用块管理的,但是比较大,在Hadoop1.x中默认大小是64M,Hadoop2.x中大小默认为128M,那为什么HDFS块这么大呢,又为什么Hadoop2.x中数据块更大了呢? 权威指南中说 阅读全文
posted @ 2017-03-27 17:29 hadoop_dev 阅读(2756) 评论(1) 推荐(0) 编辑
摘要: 原文地址: http://blog.csdn.net/opennaive/article/details/7532589 2006年的OSDI有两篇google的论文,分别是BigTable和Chubby。Chubby是一个分布式锁服务,基于Paxos算法;BigTable是一个用于管理结构化数据的 阅读全文
posted @ 2017-03-27 16:21 hadoop_dev 阅读(13861) 评论(0) 推荐(1) 编辑
摘要: 原文地址:http://blog.csdn.net/opennaive/article/details/7514146 江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)! 谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年 阅读全文
posted @ 2017-03-27 16:20 hadoop_dev 阅读(678) 评论(0) 推荐(0) 编辑
上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 14 下一页