摘要: 配置环境 Hadoop部署 配置Hadoop-Master、Hadoop-Slave主机间的免key登录: 在各个主机上安装JDK 安装hadoop 测试访问OK 部署Hive 解压部署、配置环境变量: 安装部署mysql环境 修改HIVE配置文件: 初始化Mysql 启动Hive 部署Flume 阅读全文
posted @ 2017-05-23 18:07 白日梦想家Zz 阅读(1916) 评论(0) 推荐(0) 编辑
摘要: 一、介绍 既然是部署MYSQL高可用集群环境,就要介绍下MYSQL Replication,MYSQL Replication是MYSQL自带的一个主从复制功能,也就是一台MYSQL服务器向另外一台MYSQL服务器上复制日志,然后进行日志解析并应用到自身的一个过程。同时MYSQL Replicati 阅读全文
posted @ 2017-05-17 15:03 白日梦想家Zz 阅读(544) 评论(0) 推荐(0) 编辑
摘要: 一、简介 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。 1. ZooKeeper的基 阅读全文
posted @ 2017-03-27 19:06 白日梦想家Zz 阅读(299) 评论(0) 推荐(0) 编辑
摘要: 一、简介 FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡 阅读全文
posted @ 2017-03-23 16:05 白日梦想家Zz 阅读(783) 评论(0) 推荐(0) 编辑
摘要: 一、Web框架的本质 所有的web框架、web请求;本质上都是:socket 浏览器:socket客户端 服务器:socket服务端 1. socket服务端 2. 半成品web框架 3. 现成的web框架 Bottle,Flask,Tornado,Django....等。 分类: Django:缓 阅读全文
posted @ 2017-03-11 12:59 白日梦想家Zz 阅读(1598) 评论(0) 推荐(0) 编辑
摘要: 面向对象类的进阶 抽象类 python 没有抽象类、接口的概念,所以要实现这种功能需要导入abc模块 py2:导入abc函数,_metaclass__ = abc.ABCMeta;在强制调用类下:@abc.abstractmethod py3:再强制调用类下添加raise NotImplemente 阅读全文
posted @ 2016-12-08 16:51 白日梦想家Zz 阅读(366) 评论(0) 推荐(0) 编辑
摘要: 一、编程思想介绍 1.编程范式 编程是程序员用特定的语法+数据结构+算法组成的代码来告诉计算机如何执行任务的过程,一个程序是程序员为了得到一个任务结果而编写的一组指令的集合,正所谓条条大路通罗马,实现一个任务的方式有很多种不同的方式,对这些不同的编程方式的特点进行归纳总结得出来的编程方式类别,即为编 阅读全文
posted @ 2016-11-26 12:21 白日梦想家Zz 阅读(975) 评论(0) 推荐(0) 编辑
摘要: 一、模块 1. 模块初识 模块定义:模块(module),通常也被称为库(lib,library),是一个包含所有你定义的函数和变量的文件,其后缀名是.py。模块可以被别的程序引入,以使用该模块中的函数等功能。 如:os 是系统相关的模块;file是文件操作相关的模块 模块类别: • 自定义模块 • 阅读全文
posted @ 2016-11-24 20:37 白日梦想家Zz 阅读(339) 评论(0) 推荐(0) 编辑
摘要: 一、介绍 Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行。本文先整理web服务器内容。 二、环境及软件版本 三、安装 下载nginx安装包 运行环境安装 解压编译Nginx 安装Nginx 配置Nginx启动脚本 阅读全文
posted @ 2016-11-14 17:54 白日梦想家Zz 阅读(625) 评论(0) 推荐(0) 编辑
摘要: 一、列表生成式,迭代器&生成器 列表生成式 需求:data列表里有如下三个值,需要给每个值加1 生成器 通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。 在 Python 中,使用了 yield 的函数被称为生成器(generator)。 生成器要求:必须一个一个 阅读全文
posted @ 2016-11-11 16:36 白日梦想家Zz 阅读(212) 评论(0) 推荐(0) 编辑