| | | | |

2019年9月20日

摘要： import csv data_list = [] for tr in tr_list: lt = [] lt.append(tr.xpath('//td[1]/text()')[0]) lt.append(tr.xpath('//td[2]/text()')[0]) lt.append(tr.xpath('//td[3]/text()')[0]) data_list.append(lt) wit 阅读全文

posted @ 2019-09-20 16:49 ptw_cy 阅读(311) 评论(0) 推荐(0)

2019年9月18日

scrapy中使用代理

摘要： tip: 大致思路：从网络（URL：http://ip.jiangxianli.com/api/proxy_ips）获取代理ip以及端口，存到列表；随机一个数从列表中取一个ip，设置超市时间以及次数；捕获异常，从列表中删除无用的ip代理并设置新的ip代理 settings.py中还要开启下载中间件阅读全文

posted @ 2019-09-18 04:17 ptw_cy 阅读(1940) 评论(0) 推荐(0)

scrapy中把数据写入mongodb

摘要： 1.setting.py中打开管道 2.setting.py中写入mongodb配置 3.pipeline.py文件中倒入pymongo，数据写入数据库阅读全文

posted @ 2019-09-18 04:08 ptw_cy 阅读(601) 评论(0) 推荐(0)

scrapy从命令行传值

摘要： 1.新建文件run.py 2.爬虫.py中重写init方法，传入参数；（字典编码以字符串形式拼接到url后边）阅读全文

posted @ 2019-09-18 04:02 ptw_cy 阅读(894) 评论(0) 推荐(0)

2019年9月16日

ssh密钥登陆服务器并禁止root密码登陆

摘要： 1.客户端生成密钥 2.将公钥copy到服务器之后会让输入服务器的登陆密码 3.登陆服务器 4.修改文件 PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys PasswordAuthentication no 命令模式下阅读全文

posted @ 2019-09-16 20:21 ptw_cy 阅读(465) 评论(0) 推荐(0)

2019年9月20日

2019年9月18日

2019年9月16日

公告