05 2020 档案
摘要：【架构师成长之路1】 架构师成长之路(1)--什么是架构师 架构师成长之路(2)--架构师必备技能（目标） 架构师成长之路(3)--如何成为架构师（方法） 架构师成长之路(4)--架构师知识体系（方法） 架构设计-架构需求分析 架构设计-架构愿景分析 架构设计-架构设计原则 网站架构 系统架构-亿级
阅读全文
摘要：网络爬虫 一.基本概念 一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 1.1 网络爬虫分类 网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络
阅读全文
摘要：爬虫spider流程示意图 根据以上流程简单实现爬虫功能，只是一种简单的做事风格，实际更复杂，不做具体讨论。 1. 目录 2. engine.py # encoding=utf-8 import os from spider.scheduler import Scheduler def read_u
阅读全文
摘要：一.基本概念 1. 类是抽象的，具有相同属性和方法(行为)的集合 2. 对象是具体的，具有某些属性和方法(行为)的 3. 创建的对象的过程，叫实例化 4. 属性与方法 1) 实例属性：self动态方式调用、赋值,及self.leg='new leg'仅限于当前对象 2) 实例方法: 同上 3) 静态
阅读全文
摘要：【python之一】 python基础--property、__get__、__set__ python基础--__getattr__ 和 __getattribute__ python基础--type和metaclass python基础--魔法方法详解 python基础--数据结构 python
阅读全文
摘要：第一节，windows系统安装虚拟机VMware 软件 第二节，windows系统下Xshell 5软件远程访问虚拟机 Linux系统 第三节，入门知识和windows系统安装python环境 第四节，Linux基础命令 第五节，计算机(电脑)简介 第六节，初识python和字符编码 第七节，初识模
阅读全文
摘要：【知识图谱之一】 【知识图谱】知识图谱概论 【知识图谱】知识表示与知识建模 【知识图谱】知识抽取与挖掘（I） 【知识图谱】知识抽取与挖掘（Ⅱ） 【知识图谱】知识融合 【知识图谱】知识存储 【知识图谱】知识推理 【知识图谱之二】 知识图谱（一）——概述 知识图谱（二）——知识表示 知识图谱（三）——知
阅读全文
摘要：【深度学习之一】 零基础入门深度学习(1) - 感知器 零基础入门深度学习(2) - 线性单元和梯度下降 零基础入门深度学习(3) - 神经网络和反向传播算法 零基础入门深度学习(4) - 卷积神经网络 零基础入门深度学习(5) - 循环神经网络 零基础入门深度学习(6) - 长短时记忆网络(LST
阅读全文
摘要：【Python机器学习笔记】 Python机器学习笔记：sklearn库的学习 Python机器学习笔记：Logistic Regression Python机器学习笔记：SVM（1）——SVM概述 Python机器学习笔记：SVM（2）——SVM核函数 Python机器学习笔记：SVM（3）——证
阅读全文
摘要：【分词与词向量】 主要是 jieba 和 gensim.models.word2vec 使用 【结巴分词资料汇编】结巴中文分词官方文档分析(1) 【结巴分词资料汇编】结巴中文分词源码分析(2) 【结巴分词资料汇编】结巴中文分词基本操作(3) python版本word2vec实现 python版本do
阅读全文
摘要：【ElasticSeach之一】 Elasticsearch 技术分析（一）： 基础入门 Elasticsearch 技术分析（五）：如何通过SQL查询Elasticsearch Elasticsearch 技术分析（二）： 索引映射Mapping问题 Elasticsearch 技术分析（三）：
阅读全文
摘要：【MongoDB之一】 MongoDB 入门篇 MongoDB 分片集群技术 MongoDB存储数据原理 MongoDB的备份与恢复 MongoDB 集群搭建 - 切片+副本集 MongoDB一键化自动部署方案 MongoDB实战性能优化 Mongodb设置用户权限（整理版）
阅读全文
摘要：【MySql之一】 数据库访问优化法则 我必须得告诉大家的MySQL优化原理 MySQL 优化实施方案 Mysql性能优化一 Mysql性能优化二 Mysql性能优化三 数据库介绍（MySQL安装 体系结构、基本管理） MySQL用户管理及SQL语句详解 MySQL-Select语句高级应用 MyS
阅读全文
摘要：【redis之一】 Redis 数据库 Redis 复制、Sentinel的搭建和原理说明 Redis3.0 配置文件说明 Redis Sentinel 高可用实现说明 Redis之Sentinel高可用安装部署 Redis Cluster部署、管理和测试 Redis Codis 部署安装 使用co
阅读全文
摘要：【PySpark RDD与DataFrame、Pandas转换】 官网：https://spark.apache.org/docs/latest/rdd-programming-guide.html 1. RDD=> DataFrame 2. RDD=> Pandas 3. DataFrame =>
阅读全文
摘要：【Zookeeper之一】 Zookeeper安装使用及工作原理分析 Zookeeper能做什么 Zookeeper能做什么 Zookeeper学习之路 （一）初识 Zookeeper学习之路 （二）集群搭建 Zookeeper学习之路 （三）shell操作 ZooKeeper学习之路 （四）Zoo
阅读全文
摘要：【Kafka之一】 1. Kafka的简介与架构 2. Kafka设计与原理详解 3. Kafka实战分析(设计、部署规划及其调优) 4. Kafka常用命令 5. Kafka丢失数据问题优化总结 Kafka设计原理介绍 kafka性能优化 kafka性能调优 Kafka学习之路 （一）Kafka的
阅读全文
摘要：【Hive之一】 Hive学习之路 （一）Hive初识 Hive学习之路 （二）Hive安装 Hive学习之路 （三）Hive元数据信息对应MySQL数据库表 Hive学习之路 （四）Hive的连接3种连接方式 Hive学习之路 （五）DbVisualizer配置连接hive Hive学习之路 （六
阅读全文
摘要：【hbase之一】 HBase之一：HBase原理和设计 HBase之二：Hbase优化 Hbase之三：Hbase Shell使用入门 HBase之四--(1)：Java操作Hbase进行建表、删表以及对数据进行增删改查，条件查询 HBase之四--(2)：spring hadoop 访问hbas
阅读全文
摘要：【Spark之一】 Spark设计理念与基本架构【学习】 Spark基本架构及原理【学习】 Apache Spark 内存管理详解【学习】 spark读取MySQL的方式及并发度优化 Spark学习之路 （一）Spark初识 Spark学习之路 （二）Spark2.3 HA集群的分布式安装 Spar
阅读全文
摘要：【Hadoop之一】 Hadoop — HDFS的概念、原理及基本操作【学习】 Hadoop — MapReduce原理解析【学习】 Hadoop — Yarn原理解析 收集各大互联网公司大数据平台架构 【Hadoop之二】 Hadoop（一）之初识大数据与Hadoop Hadoop（二）搭建伪分布
阅读全文
