摘要：
#coding:utf-8import urllib2import re# 工具类class Tools(object): remove_n = re.compile(r'\n') replace_br = re.compile(r'|') remove_ele = re.comp... 阅读全文
摘要：
首先用直接的方法写，先尝试下能否爬取成功#coding:utf-8import urllib2,urllibimport re'''1.准备url地址2.准备请求头3.创建请求对象4.发起请求获取第一页源代码，接收响应5.通过第一页源代码，找到总页数和标题6.for循环执行总页数次 6.1 根... 阅读全文
摘要：
目的：输入要爬取的职位名称，五个意向城市，爬取智联招聘上的该信息，并打印进表格中#coding:utf-8import urllib2import reimport xlwtclass ZLZP(object): def __init__(self,workname,citys): ... 阅读全文
摘要：
伯乐在线爬虫项目目的及项目准备：1.使用scrapy创建项目2.创建爬虫，bole 域名 jobbole.com3.Start_urls = [‘http://blog.jobbole.com/all-posts/’]4.爬取所有页数的文章5.文章列表页需要数据a) 缩略图的地址b) 详情url地址... 阅读全文
摘要：
NumpyNumPy系统是Python的一种开源的数值计算扩展ndarray 多维数组 * 所有元素必须是相同类型 * ndim属性，维度个数 * shape属性，各维度大小 * dtype属性，数据类型# coding:utf-8import numpy as np# 生成指定维度的随机... 阅读全文
摘要：
开发环境：python2.7需要的库：wordcloud,jieba,matplotlib下载库: pip install wordcloud通过jieba分词将读取的文本分成字符串，通过wordcloud生成词云，根据词频来显示特色词云图片，让人更加直观的明白文本的词频最大的文字首先，我们需要准备... 阅读全文
摘要：
MySQL 是一个开源代码的数据库管理系统（DBMS），是一个跨平台的关系型数据库管理系统。数据库发展分为几个阶段：人工管理阶段，文件系统阶段，数据库系统阶段，高级数据库阶段。其种类大概分为：层次式数据库，网络式数据库和关系式数据库。数据库的特点：数据共享，减少数据冗余，采用特定的数据类型，具有较高... 阅读全文
摘要：
在MySQL安装完成之后，将会在其data目录下自动创建几个必需的数据库，这些数据库时系统自带的数据库文件，他面熟用户访问全向，不要妄动。可以使用SHOW DATABASES;来查看当前的数据库。在我们创建数据库文件之前，我们首先要连接数据库：mysql -h 数据库地址 -u用户名 -p密码 创建... 阅读全文
摘要：
MySQL支持多种数据类型，主要有数值类型、日期类型、日期/时间类型和字符串类型。数值数据类型：包括整数类型TINYINT, SMALLINT, MEDIUMINT ,INT, BIGINT,浮点小数数据类型FLOAT和DOUBLE,定点小数类型DECIMAL。日期/时间类型：包括YEAR,TIME... 阅读全文
摘要：
单表查询和多表查询一：单表查询（1）查询字段，可以指定select *或者某些字段名（2）查询记录，通过where限定一个条件。如取出dept_no=20的e_name和e_job信息obj.selectSql('select e_name,e_job from employee where dep... 阅读全文
摘要：
1.打开cmd命令行工具，输入scrapy startproject项目名称2.使用pycharm打开项目，查看项目目录3.创建爬虫，打开CMD，cd命令进入到爬虫项目文件夹，输入scrapy genspider爬虫文件名 爬虫基础域名4.打开pycharm，发现spider目录下多出一个bole.... 阅读全文
摘要：
Django项目中如何在模板文件中加载静态文件在django项目中，我们并不是只简单的返回一个html页面，为了页面的美观以及功能的强大，我们有时候需要加载图片，js，font等静态文件，才能满足我们的需求。首先：创建static文件夹，将静态文件放在文件夹中然后，在settings中配置静态文件路... 阅读全文
摘要：
索引是数据库表中一列或多列的值进行排序的一种结构，使用索引可提高数据库中特定数据的查询速度。索引是一个单独的、存储在磁盘上的数据库结构，包含着对数据表里的所有记录的引用指针，使用索引用于快速找出某个或多个列中有一定值的行，所有的MySQL列类型都可以被索引。索引的优点：1）可保证数据库表中每一行数据... 阅读全文
摘要：
MySQL的视图视图是从一个或者多个表中导出的，视图的行为与表非常相似，但视图是一个虚拟表。在视图中用户可以使用SELECT语句查询数据，以及使用INSERT、UPDATE修改记录。视图的优点：简单化：经常使用的查询可以被定义为视图。安全性：通过视图用户只能查询和修改他们所能见到的数据。数据库的其他... 阅读全文
摘要：
MySQL服务器通过权限表来空值用户对数据库的访问，权限表存放在mysql数据库中，由mysql_install_db 脚本初始化，存储账户权限信息表主要有：user,db,host,tables_priv,columns_priv和procs_priv.user表是MySQL中最重要的一个权限表，... 阅读全文
摘要：
1.确保环境变量下mysql的path路径为C:\Program Files\MySQL\MySQL Server 5.7\bin 或自己安装的mysql路径下的\MySQL Server 5.7\bin2.使用net stop mysql47 停止mysql服务3.输入mysqld --skip-... 阅读全文
摘要：
Python Scrapy爬虫数据写入操作在我们写完一个爬虫项目，得到了一大堆的数据，为了以后的分析和使用，我们需要把我们得到的数据进行保存。保存数据的方式主要有：保存到数据库，保存到CSV文件，保存为JSON文件。保存到数据库中分为同步和异步的方式：一般小的数据，我们可以选择，同步保存数据库：首先... 阅读全文
摘要：
Django连接数据库并创建表的操作步骤：1.settings文件的DATABASES中配置数据库2.makemigrations 创建数据库变更文件3.migrate 将变更文件应用到数据库中4.创建app，并将app添加到settings中的INSTALLED_APPS 中5.在app的mod... 阅读全文
摘要：
Django创建项目及虚拟环境搭建：1）使用workon搭建基于python2.7的django开发环境cmd命令行输入：mkvirtualenv --python=D:\python\python2.7\python.exe py2Django创建完虚拟环境会自动进入虚拟环境2)进入虚拟环境，下载... 阅读全文
摘要：
先在电脑上将python2.7和python3.5版本安装完成，并记清楚安装路径,统一安装在D盘1.下载virtualenvwrapper 包输入workon命令查看是否可用2.使用virtualenvwrapper创建虚拟环境3.默认放在C:\Users\Administrator\Envs目录中... 阅读全文