上一页 1 ··· 5 6 7 8 9 10 11 下一页
摘要: 记录将本地Pycharm项目上传到Github的整个过程。 准备工作 首先得注册github账号,这里不多说然后,安装git (我的版本git version 2.15.0.windows.1)PyCharm版本2017.2.3 上传操作 第一步,点击PyCharm的File -> Setting, 阅读全文
posted @ 2019-10-25 11:12 拷贝达人 阅读(335) 评论(0) 推荐(0) 编辑
摘要: # 数据的持久化操作redis >MongoDBimport redisfrom pymongo import MongoClientimport json# 爬虫实现简单分布式:多个url放到列表里,往里不停放URL,程序循环取值,# 可以把url放到redis中,多台机器从redis中取值,爬取 阅读全文
posted @ 2019-10-20 00:33 拷贝达人 阅读(2022) 评论(0) 推荐(0) 编辑
摘要: 第一步 下载scrapy模块: pip install scrapy-redis 第二步 创建项目 在终端/cmd进入创建项目的目录: cd 路径: scrapy startproject douban(项目名) 导入到pycharm中 第三步 创建爬虫类 1.在terminal中进入项目中的spi 阅读全文
posted @ 2019-10-17 23:57 拷贝达人 阅读(189) 评论(0) 推荐(0) 编辑
摘要: 一:安装框架升级匹配版本:pip install --upgrade pip通过pip安装Scrapy框架 pip install scrapy 二:爬虫步骤:①新建项目(在命令行先进入想要放置的项目文件的目录)scrapy startproject 项目名例:scrapy startproject 阅读全文
posted @ 2019-10-17 15:46 拷贝达人 阅读(148) 评论(0) 推荐(0) 编辑
摘要: # 通过init创建对象,指定参数host、port与指定的服务器和端口连接,# host默认为localhost、port默认为6379,db(数据库)默认为0sr=StrictRedis(host='localhost',port=6379,db=0)# 简写sr=StrictRedis() from redis import * #string-增加 try: #创建StrictRedis对 阅读全文
posted @ 2019-10-17 14:08 拷贝达人 阅读(527) 评论(0) 推荐(0) 编辑
摘要: Keys()类提供了键盘上几乎所有按键的方法,这个类可用来模拟键盘上的按键,包括各种组合键,如 Ctrl+A, Ctrl+X,Ctrl+C, Ctrl+V 等等 此外,还有其他按键的模拟: send_keys(Keys.TAB) 制表键(Tab) send_keys(Keys.ESCAPE) 回退键 阅读全文
posted @ 2019-10-17 09:21 拷贝达人 阅读(653) 评论(0) 推荐(0) 编辑
摘要: from selenium import webdriver from selenium.webdriver.common.keys import Keys import time import pymongo def get_goods(driver): #连接mongodb client=pymongo.MongoClient('localhost',27017) #指定数据库 db=clie 阅读全文
posted @ 2019-10-16 15:00 拷贝达人 阅读(447) 评论(0) 推荐(0) 编辑
摘要: import pymongo #导入操作mongo的模块 client=pymongo.MongoClient(host='localhost',port=27017) #连接本地的服务端db=client.school #指定操作的数据库collection=db.students #指定操作的集 阅读全文
posted @ 2019-10-15 14:53 拷贝达人 阅读(2791) 评论(0) 推荐(0) 编辑
摘要: 删除数据 remove() 方法的基本语法格式如下所示: 参数说明: query :(可选)删除的文档的条件。 justOne : (可选)如果设为 true 或 1,则只删除一个文档。 writeConcern :(可选)抛出异常的级别。 db.collectionsNames.remove( { 阅读全文
posted @ 2019-10-14 17:12 拷贝达人 阅读(1837) 评论(0) 推荐(0) 编辑
摘要: 数据库使用 开启 mongodb 服务:要管理数据库,必须先开启服务,开启服务使用mongod --dbpath D:\md\data\db 管理 mongodb 数据库:mongo (一定要在新的 cmd 中输入) 清屏:cls 查看所有数据库列表>show dbs 使用数据库、创建数据库>use 阅读全文
posted @ 2019-10-14 17:07 拷贝达人 阅读(495) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 11 下一页