07 2020 档案

摘要:https://stackoverflow.com/questions/23075397/python-how-to-edit-an-installed-package 阅读全文
posted @ 2020-07-28 18:00 yjy888 阅读(3638) 评论(0) 推荐(0) 编辑
摘要:1、可以开多进程,但是每个使用独立的webdriver,需要复制多份。(chrome自身的问题,单个webdriver会导致蓝屏?) 2、一定要经常存数据!爬虫不可靠,可能会意外中断。 如果使用mysql 或者sql,每条数据存一次,或者每隔几条村一次;如果使用namedtuple,则用pickle 阅读全文
posted @ 2020-07-23 09:54 yjy888 阅读(865) 评论(0) 推荐(0) 编辑
摘要:record(*[1,2,3]) record(**{‘a':1,'b':1,'c':2}) 阅读全文
posted @ 2020-07-20 10:58 yjy888 阅读(243) 评论(0) 推荐(0) 编辑
摘要:namedtuple可以很容易转换为dataframe df = pd.DataFrame()df = df.append(n_tuple) 阅读全文
posted @ 2020-07-20 09:40 yjy888 阅读(263) 评论(0) 推荐(0) 编辑
摘要:log不打印在控制台 scrapy crawl [spider_name] -s LOG_FILE=spider.log scrapy crawl or runspider 区别:https://blog.csdn.net/mouday/article/details/88549031 阅读全文
posted @ 2020-07-16 15:49 yjy888 阅读(89) 评论(0) 推荐(0) 编辑
摘要:np.random.choice([0,1],p=[0.7,0.3]) 阅读全文
posted @ 2020-07-15 14:31 yjy888 阅读(114) 评论(0) 推荐(0) 编辑
摘要:因为with里面,一旦结束,就会重新生成with环境变量 https://stackoverflow.com/questions/19277280/preserving-global-state-in-a-flask-application 我们需要保证每个request是独立的,这样才不会造成某个 阅读全文
posted @ 2020-07-08 17:53 yjy888 阅读(155) 评论(0) 推荐(0) 编辑
摘要:不同的应用如果都需要redis,,可以创建多个 pool = redis.ConnectionPool(host='127.0.0.1', port=6379, decode_responses=True,db=1)r1 = redis.Redis(connection_pool=pool)r1.f 阅读全文
posted @ 2020-07-08 14:16 yjy888 阅读(459) 评论(0) 推荐(0) 编辑
摘要:https://stackoverflow.com/questions/1609637/is-it-possible-to-insert-multiple-rows-at-a-time-in-an-sqlite-database 阅读全文
posted @ 2020-07-08 10:07 yjy888 阅读(416) 评论(0) 推荐(0) 编辑
摘要:http://www.testclass.net/selenium_python/mouse-event # class name里不能有空格,需要把空格替换成.悬停操作使用 from selenium.webdriver import ActionChains ActionChains(drive 阅读全文
posted @ 2020-07-06 15:31 yjy888 阅读(179) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示