摘要：
https://www.jb51.net/article/79307.htm 阅读全文
posted @ 2018-10-04 10:52
CrossPython
阅读(177)
评论(0)
推荐(0)
摘要：
基础知识 class scrapy.spiders.CrawlSpider 这是抓取一般网页最常用的类，除了从Spider继承过来的属性外，其提供了一个新的属性rules，它提供了一种简单的机制，能够为将要爬取的链接定义一组提取规则。 rules 这是一个Rule对象列表，每条规则定义了爬取网站链接 阅读全文
posted @ 2018-10-03 20:38
CrossPython
阅读(972)
评论(0)
推荐(0)
摘要：
传统的使用scrapy爬下来的数据存入mysql,用的是在pipeline里用pymysql存入数据库, 这种方法需要写sql语句,如果item字段数量非常多的 情况下,编写起来会造成很大的麻烦. 我使用的python 库:sqlalchemy来编写,用orm的方式,使代码变得非常简洁,按照数据库 阅读全文
posted @ 2018-10-03 20:34
CrossPython
阅读(1882)
评论(0)
推荐(0)
摘要：
网上关于INSERT ... ON DUPLICATE KEY UPDATE大多数文章都是同一篇文章转来转去，首先这个语法的目的是为了解决重复性，当数据库中存在某个记录时，执行这条语句会更新它，而不存在这条记录时，会插入它。 相当于 先判断一条记录是否存在，存在则update，否则insert。其语 阅读全文
posted @ 2018-10-03 20:05
CrossPython
阅读(875)
评论(0)
推荐(0)
摘要：
这两天上班接手，别人留下来的爬虫发现一个很好玩的 SQL脚本拼接。 只要你的Scrapy Field字段名字和 数据库字段的名字 一样。那么恭喜你你就可以拷贝这段SQL拼接脚本。进行MySQL入库处理。 具体拼接代码如下： 这个SQL拼接实现了，如果数据库存在相同数据则 更新，不存在则插入 的SQL 阅读全文
posted @ 2018-10-03 20:00
CrossPython
阅读(243)
评论(0)
推荐(0)
摘要：
yield Request(...... 阅读全文
posted @ 2018-10-03 19:09
CrossPython
阅读(3484)
评论(0)
推荐(0)
摘要：
https://www.jb51.net/article/129351.htm 阅读全文
posted @ 2018-10-03 18:25
CrossPython
阅读(109)
评论(0)
推荐(0)
摘要：
rm filerm -rf folder如将/test1目录下的file1复制到/test3目录，并将文件名改为file2,可输入以下命令：cp /test1/file1 /test3/file2 如将/test1目录下的file1复制到/test3 目录，并将文件名改为file2,可输入以下命令： 阅读全文
posted @ 2018-10-02 11:09
CrossPython
阅读(355)
评论(0)
推荐(0)
摘要：
背景 今天本地调试基于Selenium+PhantomJS的动态爬虫程序顺利结束后，着手部署到服务器上，刚买的热乎的京东云，噼里啪啦一顿安装环境，最后跑的时候报了这么个错误： 运用我考了五遍才飘过的六级英语定睛一看，这个意思是说，新版本的Selenium不再支持PhantomJS了，请使用Chrom 阅读全文
posted @ 2018-10-02 09:40
CrossPython
阅读(2465)
评论(0)
推荐(0)
摘要：
https://www.cnblogs.com/Fordestiny/p/8901100.html 解决pycharm问题：module 'pip' has no attribute 'main' 阅读全文
posted @ 2018-10-01 19:39
CrossPython
阅读(240)
评论(0)
推荐(0)
摘要：
今天本来准备写一个Python的爬虫，然而使用pip安装了Scrapy之后，却无论如何也无法import，显示的结果总是ImportError: No module named Scrapy。网上查阅了很多资料都无法解决这个问题，无奈之下只好自己摸索。终于我发现了存在的问题，我的D盘中，有两个PYT 阅读全文
posted @ 2018-10-01 19:22
CrossPython
阅读(11612)
评论(0)
推荐(0)
摘要：
下载sqlite3源码包tar xvfz sqlite-src-3.3.5cd sqlite-3.3.5./configure –no-tclmake python继续一次。 apt install -f 修复关系 http://www.mamicode.com/info-detail-173864 阅读全文
posted @ 2018-10-01 19:05
CrossPython
阅读(604)
评论(0)
推荐(0)
摘要：
https://blog.csdn.net/dangsh_/article/details/79613210 阅读全文
posted @ 2018-10-01 17:14
CrossPython
阅读(547)
评论(0)
推荐(0)
摘要：
https://blog.csdn.net/qq_32093267/article/details/78156184 阅读全文
posted @ 2018-10-01 14:10
CrossPython
阅读(155)
评论(0)
推荐(0)
浙公网安备 33010602011771号