摘要： 一、CONCAT_WS()\GROUP_CONCAT()有何区别？请简单举例说明如何使用？ concat()函数可以将多个字符串连接成一个字符串 select concat(code,name,sex) as stu_info from student; 增加,分隔开显示 select concat 阅读全文

摘要： 十一、conftest.py和@pytest.fixture结合使用实现全局的前置应用 例如：项目的全局登录、模块的全局处理 1.conftest.py是一个单独存放的一个夹具配置文件，名称是固定的不能够更改 2.作用：可以在不同的py文件使用同一个fixture函数 3.conftest.py文件 阅读全文

摘要： 一、pytest安装 pip install pytest 二、pytest的编写规则 1.测试文件以test_开头（以_test结尾也可以） 2.测试类以Test开头，并且不能带有 init 方法 3.测试函数以test_开头 4.断言使用基本的assert即可 三、pytest的运行方式--运行 阅读全文

摘要： 一、scrapy选择器 1.使用Xshell工具命令窗口中测试选择器（不用连接远程ip，直接在本地输入以下命令即可） 1 scrapy shell https://www.toutiao.com/ 2.接着，当shell载入后，您将获得名为 response 的shell变量，其为响应的respon 阅读全文

摘要： 一、scrapy工作流程 （出自该博客：https://www.cnblogs.com/hewanli/p/12090042.html） 1）当爬虫（Spider）要爬取某URL地址的页面时，使用该URL初始化Request对象提交给引擎（Scrapy Engine），并设置回调函数。 Spider 阅读全文

摘要： 1 from selenium import webdriver 2 from selenium.webdriver.common.by import By 3 from selenium.webdriver.support.ui import WebDriverWait 4 from seleni 阅读全文

摘要： 一、MongoDB介绍 MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 在做爬虫的时候，抓取的数据是一些结构 阅读全文

摘要： 一、pyquery库 PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH，Beautiful Soup比起来，PyQuery更加灵活，提供增加节点的class信息，移除某个节点，提取文本信息等功能，pyquery和Be 阅读全文

摘要： 一、BeautifulSoup4 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。 Beautiful Soup的三个特点： Beautiful Soup提供一些简单的方法和python式函数，用于浏览，搜索和修改解析树，它是一个工具箱，通过解析文档为用户提 阅读全文

摘要： 1、指定安装locust版本 pip3 install -i https://pypi.douban.com/simple/ locustio==0.14.6 阅读全文