摘要： spark 简介 建议先阅读我的博客 大数据基础架构 spark 一个通用的计算引擎，专门为大规模数据处理而设计，与 mapreduce 类似，不同的是，mapreduce 把中间结果 写入 hdfs，而 spark 直接写入 内存，这使得它能够实现实时计算。 spark 由 scala 语言开发， 阅读全文

摘要： 安装 yum yum 安装本来是个很简单的事情，只是网上的教程一般不全，每次装每次都踩坑，必须做个笔记了。 具体安装过程请自行百度，一堆，耐心点就好。 异常记录 1. 明明按教程一步步安装完了，仍然报错 There was a problem importing one of the Python 阅读全文

摘要： 阅读此文前建议先阅读 我的博客 gunicorn 是一个 python wsgi http server，只支持在 unix 系统上运行 安装 gunicorn 其实是 python 的一个包，安装方法同一般包的安装 pip install gunicorn 也可 tar 包安装 安装完毕可用如下命 阅读全文

摘要： 我们在部署 flask、django 等 python web 框架时，网上最多的教程就是 nginx+gunicorn/uwsgi 的部署方式，那为什么要这么部署呢，本文就来系统地解释这个问题。 必备概念 WSGI 这里必须要知道的一个概念，WSGI，web service gateway int 阅读全文

摘要： 写代码经常会听说一些名词，比如 性能分析、代码调优。 cProfile 是 python 代码调优的一种工具，它能够统计在整个代码执行过程中，每个函数调用的次数和消耗的时间。 这个工具虽然很常用，但是没必要花太多时间研究这个工具，简单使用就能达到效果，所以我这里只简单记录下核心用法。 两种使用方式 阅读全文

摘要： shell 命令操作 hadoop 之前多少提及过，这里做个总结。 shell with hdfs 基本命令 bin/hadoop fs 大于下面的命令 bin/hdfs dfs dfs 是 fs 的实现类 shell 操作 hadoop 就是 上面的命令 加 “-” 再加 linux 命令 常用命 阅读全文

摘要： hadoop1.x 和 hadoop2.x 区别 HDFS 分布式文件存储系统 优点 缺点 MapReduce 分布式计算 详见我的博客 mapreduce YARN 计算资源管理器 主要了解两个组件 ResourceManager：管理整个集群的计算资源 NodeManager：管理单个节点的计算 阅读全文

摘要： 什么是 nginx nginx 是一款高性能的 http 服务器，反向代理服务器，电子邮件（IMAP/POP3）代理服务器； 它的特点就是高性能，占用内存少，支持高并发，运行稳定； 官方测试 可支持 5万 的并发量； nginx 的用途 nginx 可以用于多种场景，最常用的是反向代理，其他场景也需 阅读全文

摘要： mapreduce 完整流程解析 1. 在客户端启动一个 job； hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar -files tmp/example1/mapper.py,tmp/example1/reducer.py - 阅读全文

摘要： python with hdfs hdfs 可以在 linux 本地操作 bin/hdfs dfs -ls /foo 但是这种只能在 命令行 操作。 通常我们需要在程序中实现远程操作，python 是可以的。需要用到一个模块 snakebite，目前仅支持 python2 snakebite 有两种 阅读全文