摘要：
Django缓存分为Session和Cookie：Session为放在服务器端的缓存；Cookie为放在客户端（浏览器）的缓存。 Session一般用来保存登录会话；Cookie一般用来保存一些个性化的设置。 Session示例： Cookie示例： 阅读全文
摘要：
常用命令 常用配置 【mysite/mysite/settings.py】 1 INSTALLED_APPS = ( #添加新建的app名到下面 2 ... ... 3 'app01', 4 ) 5 6 TEMPLATES = [ 7 { 8 ... ... 9 'DIRS': [os.path.j 阅读全文
摘要：
简介 rpyc (Remote Python Call)为分布式计算环境提供了优良的基础平台。使用rpyc编写c/s结构程序，完全不用考虑老式的socket编程，现在只用编写简单的3、5行代码即可完成以前的数千行代码的功能。 Remote Python Call (RPyC) 是一个 Python 阅读全文
摘要：
示例场景 日志说明 有两台Web服务器，日志文件存放在/usr/local/nginx/logs/目录，日志默认为nginx定义格式。如： 以空格分隔，共有12列数据： 场景部署 在两台Web服务器上部署HDFS客户端，以便定期上传Web日志到HDFS存储平台，最终实现分布式计算。 上传日志到HDF 阅读全文
摘要：
Mrjob简介 Mrjob是一个编写MapReduce任务的开源Python框架，它实际上对Hadoop Streaming的命令行进行了封装，因此接粗不到Hadoop的数据流命令行，使我们可以更轻松、快速的编写MapReduce任务。 Mrjob具有如下特点： Mrjob编写MapReduce 安 阅读全文
摘要：
功能实现 功能：统计文本文件中所有单词出现的频率功能。 下面是要统计的文本文件 【/root/hadooptest/input.txt】 编写Map代码 Map代码，它会从标准输入（stdin）读取数据，默认以空格分割单词，然后按行输出单词机器出现频率到标准输出（stdout），不过整个Map处理过 阅读全文
摘要：
简介 随着云时代的到来，大数据（big data）也越来越受大家的关注，比如互联网行业日常生成的运营、用户行为数据，随着时间及访问量的增长这一规模日益庞大，单位可达日TB或PB级别。如何在如此庞大的数据中挖掘出对我们有用的信息？目前业界主流存储与分析平台是Hadoop为主的开源生态圈，MapRedu 阅读全文
摘要：
非Python API接口支持 Func通过非Python API实现远程调用，目的是为第三方工具提供调用及返回接口。Func使用func-transmit命令来实现，支持YAML、JSON格式，实现了跨应用平台、语言、工具等，比如通过java、C生成JSON格式的接口定义，通过func-trans 阅读全文
摘要：
简介 Func自带的模块已经非常丰富，但在日常系统运维当中，尤其是面对大规模的服务器集群、不同类别的业务平台，次是Func自带的模块或许已经不能满足我们的需求，所以有必要通过自定义模块来填补这块的不足。 自定义模块的步骤 生成模块：通过fun-create-module命令创建模块初始模板 编写逻辑 阅读全文
摘要：
简介 Func提供了非常丰富的功能模块，包括CommandModule（执行命令）、CopyFileModule（拷贝文件）、CPUModule（CPU信息）、DiskModule（磁盘信息）、FileTrackerModule（文件跟踪）、IPtablesModule（iptables管理）、Mo 阅读全文