CrossPython - 博客园

2018年10月5日

摘要： django-admin startproject test1 python manage.py startapp test2 change setting on DB python manage.py inspectdb >test2/models.py python manage.py make 阅读全文

posted @ 2018-10-05 13:54 CrossPython 阅读(164) 评论(0) 推荐(0) 编辑

mysql5.5被django抛弃,安装mysql5.7记录

摘要：安装: https://www.jb51.net/article/123004.htm 问题解决: https://blog.csdn.net/zztingfeng/article/details/80155624 其中下载修复工具地址: http://www.pc6.com/softview/So 阅读全文

posted @ 2018-10-05 13:29 CrossPython 阅读(787) 评论(0) 推荐(0) 编辑

建议使用nginx配合uwsgi,

摘要：试试gunicorn+supervisor+nginx. gunicorn是Python实现的的Web server,配置也比较简单。 supervisor也是Python实现的，它用于进程管理。这两个都是可以直接pip安装的。建议使用nginx配合uwsgi,因为apache的mod_wsgi 阅读全文

posted @ 2018-10-05 08:53 CrossPython 阅读(384) 评论(0) 推荐(0) 编辑

2018年10月4日

教大家使用Python SqlAlchemy- 51jb

摘要： https://www.jb51.net/article/79307.htm 阅读全文

posted @ 2018-10-04 10:52 CrossPython 阅读(176) 评论(0) 推荐(0) 编辑

2018年10月3日

Scrapy学习笔记(5)-CrawlSpider+sqlalchemy实战

摘要：基础知识 class scrapy.spiders.CrawlSpider 这是抓取一般网页最常用的类，除了从Spider继承过来的属性外，其提供了一个新的属性rules，它提供了一种简单的机制，能够为将要爬取的链接定义一组提取规则。 rules 这是一个Rule对象列表，每条规则定义了爬取网站链接阅读全文

posted @ 2018-10-03 20:38 CrossPython 阅读(954) 评论(0) 推荐(0) 编辑

使用sqlalchemy用orm方式写pipeline将scrapy item快速存入 MySQL

摘要：传统的使用scrapy爬下来的数据存入mysql,用的是在pipeline里用pymysql存入数据库, 这种方法需要写sql语句,如果item字段数量非常多的情况下,编写起来会造成很大的麻烦. 我使用的python 库:sqlalchemy来编写,用orm的方式,使代码变得非常简洁,按照数据库阅读全文

posted @ 2018-10-03 20:34 CrossPython 阅读(1853) 评论(0) 推荐(0) 编辑

mysql INSERT ... ON DUPLICATE KEY UPDATE语句

摘要：网上关于INSERT ... ON DUPLICATE KEY UPDATE大多数文章都是同一篇文章转来转去，首先这个语法的目的是为了解决重复性，当数据库中存在某个记录时，执行这条语句会更新它，而不存在这条记录时，会插入它。相当于先判断一条记录是否存在，存在则update，否则insert。其语阅读全文

posted @ 2018-10-03 20:05 CrossPython 阅读(867) 评论(0) 推荐(0) 编辑

Scrapy小技巧-MySQL存储, MYSQL拼接

摘要：这两天上班接手，别人留下来的爬虫发现一个很好玩的 SQL脚本拼接。只要你的Scrapy Field字段名字和数据库字段的名字一样。那么恭喜你你就可以拷贝这段SQL拼接脚本。进行MySQL入库处理。具体拼接代码如下：这个SQL拼接实现了，如果数据库存在相同数据则更新，不存在则插入的SQL 阅读全文

posted @ 2018-10-03 20:00 CrossPython 阅读(241) 评论(0) 推荐(0) 编辑

scrapy 去重 dont_filter=False

摘要： yield Request(...... 阅读全文

posted @ 2018-10-03 19:09 CrossPython 阅读(3479) 评论(0) 推荐(0) 编辑

Spider, CrawlSpider 实例

摘要： https://www.jb51.net/article/129351.htm 阅读全文

posted @ 2018-10-03 18:25 CrossPython 阅读(104) 评论(0) 推荐(0) 编辑

2018年10月2日

linux操作文件和文件夹

摘要： rm filerm -rf folder如将/test1目录下的file1复制到/test3目录，并将文件名改为file2,可输入以下命令：cp /test1/file1 /test3/file2 如将/test1目录下的file1复制到/test3 目录，并将文件名改为file2,可输入以下命令：阅读全文

posted @ 2018-10-02 11:09 CrossPython 阅读(349) 评论(0) 推荐(0) 编辑

Selenium+Headless Firefox

摘要：背景今天本地调试基于Selenium+PhantomJS的动态爬虫程序顺利结束后，着手部署到服务器上，刚买的热乎的京东云，噼里啪啦一顿安装环境，最后跑的时候报了这么个错误：运用我考了五遍才飘过的六级英语定睛一看，这个意思是说，新版本的Selenium不再支持PhantomJS了，请使用Chrom 阅读全文

posted @ 2018-10-02 09:40 CrossPython 阅读(2462) 评论(0) 推荐(0) 编辑

2018年10月1日

解决pycharm问题：module 'pip' has no attribute 'main'

摘要： https://www.cnblogs.com/Fordestiny/p/8901100.html 解决pycharm问题：module 'pip' has no attribute 'main' 阅读全文

posted @ 2018-10-01 19:39 CrossPython 阅读(233) 评论(0) 推荐(0) 编辑

No module named scrapy 成功安装scrapy，却无法import的解决方法

摘要：今天本来准备写一个Python的爬虫，然而使用pip安装了Scrapy之后，却无论如何也无法import，显示的结果总是ImportError: No module named Scrapy。网上查阅了很多资料都无法解决这个问题，无奈之下只好自己摸索。终于我发现了存在的问题，我的D盘中，有两个PYT 阅读全文

posted @ 2018-10-01 19:22 CrossPython 阅读(11469) 评论(0) 推荐(0) 编辑

linux装sqlite3

摘要：下载sqlite3源码包tar xvfz sqlite-src-3.3.5cd sqlite-3.3.5./configure –no-tclmake python继续一次。 apt install -f 修复关系 http://www.mamicode.com/info-detail-173864 阅读全文

posted @ 2018-10-01 19:05 CrossPython 阅读(600) 评论(0) 推荐(0) 编辑

linux python3 安装scrapy 后提示 -bash: scrapy: 未找到命令

摘要： https://blog.csdn.net/dangsh_/article/details/79613210 阅读全文

posted @ 2018-10-01 17:14 CrossPython 阅读(520) 评论(0) 推荐(0) 编辑

使用splash爬去JavaScript动态请求的内容

摘要： https://blog.csdn.net/qq_32093267/article/details/78156184 阅读全文

posted @ 2018-10-01 14:10 CrossPython 阅读(147) 评论(0) 推荐(0) 编辑

2018年8月13日

python之auto鼠标/键盘事件

摘要： mouse_key.py test.py 阅读全文

posted @ 2018-08-13 15:21 CrossPython 阅读(941) 评论(0) 推荐(0) 编辑

python分割txt文件

摘要：分割txt文件阅读全文

posted @ 2018-08-13 09:30 CrossPython 阅读(1250) 评论(0) 推荐(0) 编辑

公告