摘要：
爬虫 一、爬虫的分类 1、通用爬虫 实例 百度，360，google、搜狗等搜索引擎 功能 访问网页-》抓取数据-》数据存储-》数据处理-》提供检测服务 robots协议 一个约定俗成的协议，添加robots.txt文件，来说明本网站哪些内容不可以被抓取，之际写的爬虫无需遵守 网站排名 1、根据pa 阅读全文
摘要：
深度学习之卷积神经网络 1、前言 在卷积神经网络之前，较流行的是多层感知机，多层感知机适合处理表格数据，其中行对应样本，列对应特征。对于表格数据，我们寻 找的模式可能涉及特征之间的交互，但是我们不能预先假设任何与特征交互相关的先验结构。此时，多层感知机可能是最好的选择，然而对于高维感知数据，这种缺少 阅读全文
摘要：
Hive 1、Hive基本概念 1.1 hive简介 Hive：由Facebook开源用于处理海量结构日志的数据统计工具 Hive是基于Hadoop的一个数据仓库工具，可以将结构优化的数据文件映射为一张表，并提供类SQL查询功能。 Hive本质：将HQL转换为MapReduce程序 （1）Hive处 阅读全文
摘要：
Hive查询 1、基本查询 查询语句 SELECT [ALL | DISTINCT] select_expr, select_expr, ... -- 查询表中的哪些字段 FROM table_reference -- 从哪个表查出来 [WHERE where_condition] -- where 阅读全文
摘要：
zookeeper实战 一、zookeeper客户端命令 1、zookeeper命令语法 | 命令基本语法 | 功能描述 | | : : | : : | | help | 显示所有操作命令 | | ls path | 使用ls命令来查看当前znode的子节点【可监听】 -w 监听子节点变化，只能监听 阅读全文
摘要：
Zookeeper内部原理 1、节点类型 每一个znode都有不同的生命周期，而生命周期长短取决于znode的节点类型。Zookeeper提供了4中节点类型。 | 节点类型 | 解释 | | | | | 持久节点（Persistent） | 默认节点类型，当前会话关闭后，该节点仍然存在；只有删除节点 阅读全文
摘要：
MapReduce概述 1、MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReudce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 2、M 阅读全文
摘要：
Hadoop序列化 序列化概述 序列化就是把内存中的对象、转换成字节系列（或者其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 1、JAVA序列化和hadoop序列化 java序列化：java序列化 阅读全文
摘要：
WordCount实例操作 本地执行wordcount操作 1、启动IDEA,在idea搭建maven项目 配置hadoop基本依赖，导入hadoop需要的一些包 pom.xml的文件配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns=" 阅读全文
摘要：
数据分析三剑客（numpy，pandas，matplotlib） 一、numpy 1、numpy数组的属性 | 属性 | 说明 | | : : | : : | | ndarray.ndim | 秩，即州的数量或者维度的数量 | | ndarray.shape | 数组的维度，对于矩阵，n行m列 | 阅读全文