摘要: 简介 我们可以从网上或者付费获取大量代理,但是这其中很多依然不可用,那么搭建高效的代理池,对代理ip进行筛选是十分必要的 准备工作: 安装Redis数据库,还需要安装aiohttp、requests、redis-py、pyquery、Flask库,安装流程请百度自行查询 由于文件内容较多,所以就不一 阅读全文
posted @ 2019-07-11 19:12 nikecode 阅读(1720) 评论(0) 推荐(0) 编辑
摘要: 代理的设置 在urllib库中使用代理,代码如下: 显示为下面的情况,说明代理设置成功: 对于需要认证的代理,,只需要改变proxy变量,在代理前面加入代理认证的用户名密码即可:"username:password@113.116.50.182" 如果遇到了socks代理服务器: 采用socks协议 阅读全文
posted @ 2019-07-11 11:38 nikecode 阅读(7153) 评论(0) 推荐(0) 编辑
摘要: 安装scrapy库 在E盘新建一个Scrapy文件夹,然后进入文件夹,shift+鼠标右键,然后打开命令窗口。 ​ 在命令行窗口里输入pip install scrapy,就会安装scrapy的最新版本,安装好了之后输入scrapy -h查看相应信息。 ​ 创建项目 在开始爬取之前,我们必须创建一个 阅读全文
posted @ 2019-07-09 13:49 nikecode 阅读(312) 评论(0) 推荐(0) 编辑
摘要: #实战准备#股票市场分析实战--数据获取#https://finance.yahoo.com"""import pandas_datareader as pdralibaba = pdr.get_data_yahoo("BABA")#print(alibaba.head())# High Low O 阅读全文
posted @ 2019-07-04 10:45 nikecode 阅读(6540) 评论(0) 推荐(0) 编辑
摘要: """import pandas as pdimport numpy as npfrom pandas import Series,DataFrameimport matplotlib.pyplot as pltimport seaborn as sns""""""#Seaborn 是matplot 阅读全文
posted @ 2019-07-04 10:44 nikecode 阅读(759) 评论(0) 推荐(0) 编辑
摘要: #38#Pandas绘图之Seriesimport pandas as pdimport numpy as npfrom pandas import Series,DataFrameimport matplotlib.pyplot as plt"""#cumsum()函数求和s = Series([ 阅读全文
posted @ 2019-07-04 10:43 nikecode 阅读(583) 评论(0) 推荐(0) 编辑
摘要: import pandas as pdimport numpy as npfrom pandas import Series,DataFrame"""df = pd.read_excel("sales-funnel.xlsx")#print(df)# Account Name ... Price S 阅读全文
posted @ 2019-07-04 10:42 nikecode 阅读(1080) 评论(0) 推荐(0) 编辑
摘要: import pandas as pdimport numpy as npfrom pandas import Series,DataFrame#时间序列的操作基础from datetime import datetime"""t = datetime(2016,9,10)print(t)#2016 阅读全文
posted @ 2019-07-04 10:40 nikecode 阅读(378) 评论(0) 推荐(0) 编辑
摘要: import pandas as pdimport numpy as npfrom pandas import Series,DataFrame#重命名DataFrame的indexdf1 = DataFrame(np.arange(9).reshape(3,3),index=["BJ","SH", 阅读全文
posted @ 2019-07-04 10:39 nikecode 阅读(265) 评论(0) 推荐(0) 编辑
摘要: import pandas as pdimport numpy as npfrom pandas import Series,DataFrame#df1 = DataFrame({'城市':["北京","上海","广州"],'人口':[1000,2000,1500]})# print(df1)# 城 阅读全文
posted @ 2019-07-04 10:38 nikecode 阅读(345) 评论(0) 推荐(0) 编辑