随笔分类 - Python
摘要：比如使用命令行的方式查看数据库runoobdb中的sites集合(数据表)中的所有数据 1.在连接名的地方鼠标右键选择“open shell” 2.在出现的shell窗口中输入一下命令行，然后按ctrl+enter组合键执行命令 或者在数据库runoobdb处右键选择“open shell”,直接输
阅读全文
摘要：重难点：使用scrapy获取的数值是unicode类型，保存到json文件时需要特别注意处理一下，具体请参考链接：https://www.cnblogs.com/sanduzxcvbnm/p/10309401.html 稍加改造也能保存到csv文件中 网址：https://sobooks.net/
阅读全文
摘要：注意：此方法跟之前保存成json文件的写法有少许不同之处，注意区分 情境再现： 使用scrapy抓取中文网页，得到的数据类型是unicode，在控制台输出的话也是显示unicode,如下所示 {'author': u'\u51af\u53cb\u5170\u7b49', 'classificatio
阅读全文
摘要：一般我们运行爬虫程序都是使用命令行，比如：scrapy crwal sobook。不过这多少有些不方便，可以使用下面的方法使用IDE的方式运行爬虫 我这边使用的是pycharm软件，在pycharm里运行这个文件就相当于使用命令行运行爬虫了。
阅读全文
摘要：需要学习的知识： 1.获取到的json数据如何处理 2.保存到json文件 3.保存到MongoDB数据库 4.下载项目图片(含缩略图) 1.创建项目 scrapy startproject gank 2.生成项目爬虫文件 scrapy genspider gank_img gank.io 注意：项
阅读全文
摘要：本文转载自： https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/downloader-middleware.html https://doc.scrapy.org/en/latest/topics/downloader-middleware.
阅读全文
摘要：本文转载自以下链接： https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/item-pipeline.html https://doc.scrapy.org/en/latest/topics/item-pipeline.html 当Item在S
阅读全文
摘要：需要学习的地方： 1.Scrapy框架流程梳理，各文件的用途等 2.在Scrapy框架中使用MongoDB数据库存储数据 3.提取下一页链接，回调自身函数再次获取数据 重点：从当前页获取下一页的链接，传给函数自身继续发起请求 next = response.css('.pager .next a::
阅读全文
摘要：本文转载自以下链接：https://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html 在本篇教程中，我们假定您已经安装好Scrapy。接下来以 Open Directory Project(dmoz) (dmoz) 为例来讲述爬取。
阅读全文
摘要：本文转载自以下链接：https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/commands.html Scrapy是通过 scrapy 命令行工具进行控制的。 这里我们称之为 “Scrapy tool” 以用来和子命令进行区分。 对于子命令，我们称为 “command” 或者 “Scrapy commands”。 Scrapy tool ...
阅读全文
摘要：官方示例源码<html> <head> <base href='http://example.com/' /> <title>Example website</title> </head> <body> <div id='images'> <a href='image1.html'>Name: My
阅读全文
摘要：本文参考以下文章:https://www.yukunweb.com/2017/12/ubuntu-nginx-uwsgi-flask-app/ 需要学习的地方 nginx+uwsgi部署flask应用 一 nginx配置: server { listen 80; server_name 192.16
阅读全文
摘要：import matplotlib.pyplot as plt import matplotlib as mpl mpl.rcParams['font.sans-serif']=['SimHei'] # #指定默认字体 SimHei为黑体 mpl.rcParams['axes.unicode_minus']=False # #用来正常显示负号
阅读全文
摘要：1.使用SQLAlchemy from sqlalchemy import create_engine,Column,String,Integerfrom sqlalchemy.ext.declarative import declarative_basefrom sqlalchemy.orm im
阅读全文
摘要：注:针对的是查询出来的是单条对象 多个对象的话可以使用for循环遍历查询出来的对象列表,也可以使用下面的方法 1.config.py文件 然后再封装一个转换成json的函数: 使用方法:
阅读全文
摘要：#!/usr/bin/env python #-*- coding: utf-8 -*- from flask import Flask from flask_sqlalchemy import SQLAlchemy app = Flask(__name__) # 配置多个数据库连接 SQLALCHEMY_BINDS = { 'users': 'sqlite:///users....
阅读全文
摘要：1.创建数据库模型的时候增加添加上注释SQLAlchemy1.2新增了comment参数telephone = db.Column(db.String(11), nullable=False, comment='电话')class User(Base): __tablename__ = 'user'
阅读全文
摘要：### 使用SQLAlchemy去连接数据库：1.使用SQLALchemy去连接数据库，需要使用一些配置信息，然后将他们组合成满足条件的字符串：HOSTNAME = '127.0.0.1'PORT = '3306'DATABASE = '1'USERNAME = 'root'PASSWORD = '
阅读全文
摘要：# linux定时执行python文件 # crontab -e 添加如下信息： # 0 4 * * * /usr/bin/python /root/bak.py >> /var/log/bak.py.log 2>&1
阅读全文
摘要：报错信息：Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA...' for column 'VARIABLE_VALUE' at row 484") result = self._query(query)
阅读全文