04 2017 档案
摘要：摘要 如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识，然后就是对各个层级关系有一个清晰的认识后，才能真正的掌握它，对于sparkSQL整体框架这一块，在前一个博客已经进行过了一些介绍，如果对这块还有疑问可以看我
阅读全文
摘要：原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://9269309.blog.51cto.com/9259309/1845525 这篇博客的目的是让那些初次接触sparkSQL框架的童鞋们，希望他们对sparkSQL整体框架有一个大致
阅读全文
摘要：在分布式环境下，Spark 集群采用的是master/slave结构。Master是对应集群中的含有master进程的节点，slave是集群中含有worker进程的节点。Master作为整个集群的控制器，负责整个集群的正常运行；worker相当于是计算节点，接收主节点命令与进行状态汇报，client
阅读全文
摘要：Spark作业执行流程 Local模式 运行Spark最简单的方法是通过Local模式（即伪分布式模式）。 运行命令为：./bin/run-example org.apache.spark.examples.SparkPi local 基于standalone的Spark架构与作业执行流程 Stan
阅读全文
摘要：Dubbo建议使用Zookeeper作为服务的注册中心。 1. Zookeeper的作用： zookeeper用来注册服务和进行负载均衡，哪一个服务由哪一个机器来提供必需让调用者知道，简单来说就是ip地址和服务名称的对应关系。当然也可以通过硬编码的方式把这种对应关系在调用方业务代码中实现，但是如果提
阅读全文
摘要：作者：张云龙链接：https://www.zhihu.com/question/20790576/answer/32602154来源：知乎著作权归作者所有，转载请联系作者获得授权。 前百度工程师，曾负责百度 前端集成解决方案 的核心设计与开发工作。我现在称这个领域为【前端工程】。没错，这是我最爱唠叨
阅读全文
摘要：作者：xlzd链接：https://www.zhihu.com/question/20657269/answer/101795180来源：知乎著作权归作者所有，转载请联系作者获得授权。1. 初始阶段的网站架构 一般来讲，大型网站都是从小型网站发展而来，一开始的架构都比较简单，随着业务复杂和用户量的激
阅读全文
摘要：网络由下往上分为: 物理层-- 数据链路层-- 网络层-- IP协议 传输层-- TCP协议 会话层-- 表示层和应用层-- HTTP协议 1、TCP/IP连接 手机能够使用联网功能是因为手机底层实现了TCP/IP协议，可以使手机终端通过无线网络建立TCP连接。TCP协议可以对上层网络提供接口，使上
阅读全文
摘要：在PHP面试中 经常碰到请阐述session与cookie的区别与联系，以及如何修改两者的有效时间。 大家都知道，session是存储在服务器端的，cookie是存储在客户端的，session依赖于cookie，但是让你说详细点，你会吗？我是不太清楚的，特意在网上找了很多资料，发现一篇不错的文章，特
阅读全文
摘要：作者：王燚光链接：https://www.zhihu.com/question/33270495/answer/93424104来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Sp
阅读全文
