07 2020 档案
摘要:https://stackoverflow.com/questions/23075397/python-how-to-edit-an-installed-package
阅读全文
摘要:1、可以开多进程,但是每个使用独立的webdriver,需要复制多份。(chrome自身的问题,单个webdriver会导致蓝屏?) 2、一定要经常存数据!爬虫不可靠,可能会意外中断。 如果使用mysql 或者sql,每条数据存一次,或者每隔几条村一次;如果使用namedtuple,则用pickle
阅读全文
摘要:record(*[1,2,3]) record(**{‘a':1,'b':1,'c':2})
阅读全文
摘要:namedtuple可以很容易转换为dataframe df = pd.DataFrame()df = df.append(n_tuple)
阅读全文
摘要:log不打印在控制台 scrapy crawl [spider_name] -s LOG_FILE=spider.log scrapy crawl or runspider 区别:https://blog.csdn.net/mouday/article/details/88549031
阅读全文
摘要:np.random.choice([0,1],p=[0.7,0.3])
阅读全文
摘要:因为with里面,一旦结束,就会重新生成with环境变量 https://stackoverflow.com/questions/19277280/preserving-global-state-in-a-flask-application 我们需要保证每个request是独立的,这样才不会造成某个
阅读全文
摘要:不同的应用如果都需要redis,,可以创建多个 pool = redis.ConnectionPool(host='127.0.0.1', port=6379, decode_responses=True,db=1)r1 = redis.Redis(connection_pool=pool)r1.f
阅读全文
摘要:https://stackoverflow.com/questions/1609637/is-it-possible-to-insert-multiple-rows-at-a-time-in-an-sqlite-database
阅读全文
摘要:http://www.testclass.net/selenium_python/mouse-event # class name里不能有空格,需要把空格替换成.悬停操作使用 from selenium.webdriver import ActionChains ActionChains(drive
阅读全文