摘要:
安装好了MySQL数据库并保证它能正常运行,而且需要安装好PyMySQL库。 连接数据库 这里,首先尝试连接一下数据库。假设当前的MySQL运行在本地,用户名为root,密码为123456,运行端口为3306。这里利用PyMySQL先连接MySQL,然后创建一个新的数据库,名字叫作spiders,代 阅读全文
摘要:
使用XPath 保存为TXT 保存为csv 读取csv Excel打开乱码参考:excel打开csv文件显示乱码的处理方法_百度经验 保存到MongoDB 稍微改动 抛出异常 raise DuplicateKeyError(error.get("errmsg"), 11000, error) pym 阅读全文
摘要:
发送post请求 可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。 如果希望程序执行一开始就发送POST请求,可以重写Spider类的start_requests(self) 方法,并且不再调用start_urls里的 阅读全文
摘要:
爬取站点 https://it.ithome.com/ityejie/ ,进入详情页提取内容。 阅读全文
摘要:
爬取站点 https://it.ithome.com/ityejie/ ,进入详情页提取内容。 阅读全文