可能是小林吧

matplotlib画图的时候显示不出中文和负号的解决办法

摘要： import matplotlib.pyplot as pltfrom pylab import * plt.rcParams['font.sans-serif'] = ['SimHei'] #显示中文 plt.rcParams['axes.unicode_minus']=False #用来正常显示阅读全文

posted @ 2018-11-02 10:28 可能是小林吧阅读(1641) 评论(0) 推荐(0) 编辑

mysql随笔

摘要：安装的过程就省略了，我这边安装的是5.7.20版本的从cmd进入mysql，首先设置环境变量，然后第一次进入的时候直接输入mysql就可以但是过后可能需要输入密码才能进入（设置后）使用show databases 可以看到mysql下面的数据库如果要使用哪个数据库，得使用 use xxx（数阅读全文

posted @ 2018-10-29 14:15 可能是小林吧阅读(164) 评论(1) 推荐(0) 编辑

Scrapy突破反爬虫的限制

摘要： 7-1 爬虫和反爬的对抗过程以及策略基本概念爬虫：自动获取网站数据的程序，关键是批量的获取反爬虫：使用技术手段防止爬虫程序的方法误伤：反爬技术将普通用户识别为爬虫，如果误伤过高，效果再好也不能用一般ip地址禁止是不太可能被使用的成本：反爬虫需要的人力和机器成本拦截：成功拦截爬虫，一般拦截率越高，误伤阅读全文

posted @ 2018-10-17 21:17 可能是小林吧阅读(326) 评论(0) 推荐(0) 编辑

通过CrawlSpider对招聘网站进行整站爬取（拉勾网实战）

摘要：爬虫首先要明确自己要爬取的网站以及内容进入拉勾网的网站然后看看想要爬取什么内容职位，薪资，城市，经验要求学历要求，全职或者兼职职位诱惑，职位描述提取公司的名称以及在拉勾网的url等等然后在navicat中设计表我是在数据库article_spider中设计的表lagou_job 然后进入a 阅读全文

posted @ 2018-10-17 11:36 可能是小林吧阅读(1160) 评论(0) 推荐(0) 编辑

第三章：爬虫基础知识回顾

摘要：第一节：技术选型，爬虫能做什么技术选型scrapy vs requests + beautifulsoup1. requests + beautifulsoup都是库，scrapy是框架2.scrapy框架中可以加入requests + beautifulsoup3.scrapy基于twisted，阅读全文

posted @ 2018-10-15 22:21 可能是小林吧阅读(170) 评论(0) 推荐(0) 编辑

第二章：windows下搭建开发环境

摘要： IDE pycharm数据库 mysql、redis、elasticsearch开发环境 -- anaconda 第一节：pycharm的安装和简单使用...（网上一搜一大堆，所以没必要写出来）第二节：mysql和navicat的安装和使用....主要是linux比较麻烦（在windows下就很简阅读全文

posted @ 2018-10-15 22:09 可能是小林吧阅读(160) 评论(0) 推荐(0) 编辑

第一章：python分布式爬虫打造索索引擎简介

只有注册用户登录后才能阅读该文。阅读全文

posted @ 2018-10-15 22:07 可能是小林吧阅读(3) 评论(0) 推荐(0) 编辑

Python分布式爬虫打造搜索引擎scrapy

该文被密码保护。阅读全文

posted @ 2018-10-15 22:05 可能是小林吧阅读(1) 评论(0) 推荐(0) 编辑