农夫三拳有點疼

该文被密码保护。 阅读全文

该文被密码保护。 阅读全文

摘要： From：https://www.oschina.net/question/5189_4306Web.py github 地址：https://github.com/webpy/webpy https://pypi.python.org/pypi/web.py Web.py Cookbook 简体中 阅读全文

摘要： 0Matplotlib介绍 Matplotlib 是一个 Python 的 2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。 1Matplotlib基本操作 1.1 空白图形 1.1 空白图形 测试结果： 1.2读取数据展示 it01.csv提供数据 name,confid 阅读全文

摘要： 0. NumPy介绍 NumPy是Python的一个高性能科学计算和数据分析基础库，提供了功能强大的多维数组对象ndarray。 引入numpy，并重命名为np，方便使用 import numpy as np 1. 创建数组 1.1使用numpy内置的array函数创建数组 创建一维数组 arr1 阅读全文

摘要： 0 pandas介绍 Pandas是一款开放源码的BSD许可的Python库，为Python编程语言提供了高性能，易于使用的数据结构和数据分析工具。使用import pandas as pd导入pandas包并且起个响亮的名字pd 1 读取数据的方式 1.1准备数据表csv文件 it01.csv 1 阅读全文

摘要： 0 MapReduce的定义 源自于Google的MapReduce论文 发表于2004年12月 Hadoop MapReduce是Google MapReduce克隆版 MapReduce特点 易于编程 良好的扩展性 高容错性 适合PB级以上海量数据的离线处理 MapReduce不擅长的方面 实时 阅读全文

摘要： 1 java编程步骤 导入需要jar包 找到一个模板例子复制为我们的word count类 import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apac 阅读全文

摘要： Begin 准备工作a)下载VMware workstation14 b)下载CentOS7CentOS7c)下载xshell、xftp安装参考最好改成单文件储存，不容易出问题 分区设置 补充1 nat网络设置 （注意如果不在意网络IP冲突问题可以使用桥接模式，方便使用，就不用配置下面的东西了）下面 阅读全文

摘要： JDK下载路径http://www.oracle.com/technetwork/java/javase/downloads/index.html Hadoop源码包下载http://mirror.bit.edu.cn/apache/hadoop/common安装之前检查是否有java环境 1进入如 阅读全文

摘要： http://archive.apache.org/dist/ 1目前为止 然后为了避免路由网络传输出现问题 >集群机器关闭防火墙 清空系统防火墙iptables -Liptables -F 保存防火墙配置service iptables save 如果上述命令执行失败报出：The service 阅读全文

摘要： 1 HDFS基本思想 1.1 早期文件服务器 从上图中，我们可以看出，存储一个文件，我们一直往一个机子上面存是不够的，那么我们在储存量不够的时候就会加机子。但是如果一个文件放在一台机子上，如果该机器挂了，那么文件就丢失了，不安全。所以我们会把一个文件放在多台机子上，创建一个索引文件来储存文件的指针， 阅读全文

摘要： hdfs在生产应用中主要是客户端的开发，其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件 1 搭建maven开发环境 pom.xml参考 <dependency> <groupId>org.apache.hadoop</gro 阅读全文

摘要： 1 DDL数据定义语言 1.1 创建数据库 1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive; 2）避免要创建的数据库已经存在错误，增加if not exists判 阅读全文

摘要： 一、 Zookeeper概念 1 Zookeeper Zookeeper是什么 Zookeeper特点 哪些系统用到了Zookeeper HDFS YARN Storm HBase Flume Dubbo（阿里巴巴） metaq阿里巴巴） 2 Zookeeper架构 Zookeeper 架构 Zoo 阅读全文

摘要： 基本操作 进入互交命令hbase shell 创建一张表和列簇create 'm_table','meta_data','action' 50070端口查看文件 查看表结构desc 'm_table' 再添加一个列簇alter 'm_table',{NAME=>'cf_new',VERSIONS=> 阅读全文

摘要： 1 基本操作 1.1查看topic列表: kafka-topics.sh --zookeeper master:2181,slave1:2181,slave2:2181 --list 1.2创建topic: kafka-topics.sh --zookeeper master:2181,slave1 阅读全文

摘要： demo1 wc累加案例 pom.xml 注意运行时报错java.lang.ClassNotFoundException: backtype.storm.topology.IRichSpout。注释掉作用域 注意运行时报错java.lang.NoSuchMethodError: com.lmax.d 阅读全文

摘要： 1 整合demo 1.1 Flume操作 1)在Flume的conf目录下，新建fk.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = av 阅读全文

摘要： 1、Spark是一个计算框架 MR是批量计算框架，Spark-Core是批量计算框架 Spark相比MR速度快，MR作为一个job，在中间环节中结果是落地的（会经过磁盘交换），Spark计算过程中数据流转都是在内存的（减少了对HDFS的依赖） MR：多进程模型（缺点：每个任务启动时间长，所以不适合于 阅读全文