会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
kilort
博客园
首页
新随笔
联系
订阅
管理
2018年2月9日
ubuntu16.04 配置爬虫环境
摘要: MySQL 安装 sudo apt-get install mysql-server(若安装有误,则update再安装,记得设置root密码) 配置 远程访问:1 进入/etc/mysql 找到my.cnf指向的俩个路径,进入其中一个更改bind为0.0.0.0或者注释掉; 2 进入mysql,通过
阅读全文
posted @ 2018-02-09 09:42 kilort
阅读(247)
评论(0)
推荐(0)
2018年2月8日
xapth(笔记)
摘要: xpath的常见用法 补充 contians 例子://div[contians(@class,"title","p")]
阅读全文
posted @ 2018-02-08 14:33 kilort
阅读(145)
评论(0)
推荐(0)
2018年2月7日
web基础知识梳理(笔记)
摘要: http(1.1)知识点 http协议概念 http协议是用于客户端和服务器端之间的超文本传输协议,通过请求和响应实现通信,是一种无状态协议(即对请求和响应不会做持久化处理)。 http的请求方式( 为常见) get :获取服务器端的资源 post:客户端传输数据到服务器端,并获得相应的返回数据 p
阅读全文
posted @ 2018-02-07 16:42 kilort
阅读(165)
评论(0)
推荐(0)
2018年2月5日
通过docker,scrapy,scrapy_redis 打造分布式爬虫
摘要: 本着交流和学习的心态和大家分享本人的第一篇博客(客套话就不说了,其实就是说说自己编写的思路和及对问题的解决办法)。 先说说技术路线,选择docker,scrapy,scrapy_redis 的原因很简单,省钱又方便。(苦比的大四党并不享用云主机优惠) 本爬虫主要抓取了豆瓣movie,book,mus
阅读全文
posted @ 2018-02-05 12:29 kilort
阅读(336)
评论(0)
推荐(0)
公告