Eric_nan - 博客园

2018年10月1日

摘要： Scrapy Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Se 阅读全文

posted @ 2018-10-01 00:00 Eric_nan 阅读(136) 评论(0) 推荐(0) 编辑

2018年9月29日

MySQL数据库架构相关笔记（四）

摘要： MySQL数据库架构相关笔记 SQL查询优化一、获取有性能问题SQL的三种方法二、慢查询日志 2.1、慢查询日志介绍阅读全文

posted @ 2018-09-29 00:58 Eric_nan 阅读(64) 评论(0) 推荐(0) 编辑

MySQL-查缺补漏

摘要： MySQL 阅读全文

posted @ 2018-09-29 00:12 Eric_nan 阅读(126) 评论(0) 推荐(0) 编辑

2018年9月28日

mysql 电商项目（二）

摘要： mysql 电商项目 - MySQL数据库设计一、电商实例数据库结构设计 1、用户模块 2、MySQL分区表 2.1、Hash分区未完待续阅读全文

posted @ 2018-09-28 21:31 Eric_nan 阅读(126) 评论(0) 推荐(0) 编辑

mysql 电商项目（一）

摘要： mysql 电商项目 - MySQL数据库开发规范 1、数据库基本设计规范 2、索引设计规范 3、数据库字段设计规范 4、数据库SQL开发规范 5、数据库操作行为规范阅读全文

posted @ 2018-09-28 17:21 Eric_nan 阅读(269) 评论(0) 推荐(0) 编辑

MySQL数据库架构相关笔记（三）

摘要： MySQL高可用架构设计一、MySQL复制功能介绍二、MySQL二进制日志三、高可用架构 3.1、MMM框架四、索引优化 4.1、Btree索引 4.2、Hash索引 4.3、索引优化策略阅读全文

posted @ 2018-09-28 15:09 Eric_nan 阅读(126) 评论(0) 推荐(0) 编辑

MySQL数据库架构相关笔记（二）

摘要： MySQL数据库结构优化 1、数据库结构优化的目的 2、数据库结构设计步骤 3、数据库设计范式 4、需求分析及逻辑设计 5、反范式化设计 6、范式化和反范式化优缺点 6.1、范式化： 6.2、反范式化： 7、物理设计 7.1、 7.2、 7.3、新增：date 、time 类型阅读全文

posted @ 2018-09-28 14:36 Eric_nan 阅读(107) 评论(0) 推荐(0) 编辑

MySQL数据库架构相关笔记（一）

摘要： MySQL数据库架构相关一、MySQL常用存储引擎 1、MyIsam 2、Innodb 3、CSV 4、Archive 5、memory 6、Federated 二、MySQL相关参数 1、MySQL参数配置 2、内存配置相关参数 3、IO相关配置参数 3.1、Innodb IO相关配置参数 3. 阅读全文

posted @ 2018-09-28 01:46 Eric_nan 阅读(112) 评论(0) 推荐(0) 编辑

2018年9月26日

阿里云线上项目部署

摘要：阿里云项目部署 - 生鲜超市环境：Ubuntu 16.04 1、虚拟环境安装参考：https://www.cnblogs.com/Eric15/articles/9593662.html 1.1、安装虚拟环境virtualenv： 1.2、安装virtualenvwrapper： 1.3、配置阅读全文

posted @ 2018-09-26 02:14 Eric_nan 阅读(331) 评论(0) 推荐(0) 编辑

2018年9月21日

Python分布式爬虫打造搜索引擎（二）

摘要： Python分布式爬虫打造搜索引擎-scrapy爬取知名技术文章网站一、项目基础环境 python3.6.0 pycharm2018.2 mysql+navicat 二、scrapy爬取知名技术文章网站 1、使用虚拟环境，创建虚拟环境： 2、进入articlespider目录，安装scrapy：阅读全文

posted @ 2018-09-21 00:59 Eric_nan 阅读(369) 评论(0) 推荐(0) 编辑