会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
ptw_cy
博客园
|
首页
|
新随笔
|
新文章
|
联系
|
订阅
|
管理
2019年9月20日
数据写入csv
摘要: import csv data_list = [] for tr in tr_list: lt = [] lt.append(tr.xpath('//td[1]/text()')[0]) lt.append(tr.xpath('//td[2]/text()')[0]) lt.append(tr.xpath('//td[3]/text()')[0]) data_list.append(lt) wit
阅读全文
posted @ 2019-09-20 16:49 ptw_cy
阅读(296)
评论(0)
推荐(0)
编辑
2019年9月18日
scrapy中使用代理
摘要: tip: 大致思路:从网络(URL:http://ip.jiangxianli.com/api/proxy_ips)获取代理ip以及端口,存到列表;随机一个数从列表中取一个ip,设置超市时间以及次数;捕获异常,从列表中删除无用的ip代理并设置新的ip代理 settings.py中还要开启下载中间件
阅读全文
posted @ 2019-09-18 04:17 ptw_cy
阅读(1923)
评论(0)
推荐(0)
编辑
scrapy中把数据写入mongodb
摘要: 1.setting.py中打开管道 2.setting.py中写入mongodb配置 3.pipeline.py文件中倒入pymongo,数据写入数据库
阅读全文
posted @ 2019-09-18 04:08 ptw_cy
阅读(589)
评论(0)
推荐(0)
编辑
scrapy从命令行传值
摘要: 1.新建文件run.py 2.爬虫.py中重写init方法,传入参数;(字典编码以字符串形式拼接到url后边)
阅读全文
posted @ 2019-09-18 04:02 ptw_cy
阅读(881)
评论(0)
推荐(0)
编辑
2019年9月16日
ssh密钥登陆服务器并禁止root密码登陆
摘要: 1.客户端生成密钥 2.将公钥copy到服务器 之后会让输入服务器的登陆密码 3.登陆服务器 4.修改文件 PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys PasswordAuthentication no 命令模式下
阅读全文
posted @ 2019-09-16 20:21 ptw_cy
阅读(453)
评论(0)
推荐(0)
编辑
公告