MYSQL基础
摘要:一、 1、打开mysql服务 sudo service mysql start 2、root用户登录 mysql -uroot 3、查看数据库 show databases; 4、选择连接库 use <数据库名> 5、查看当前正在使用的库 select database(); 6、查看表 show
阅读全文
股票数据Scrapy爬虫
摘要:功能描述: 技术路线:scrapy 目标:获取上交所和深交所所有股票的名称和交易信息 输出:保存到文件中 数据网站的确定 获取股票列表: 东方财富网:http://quote.eastmoney.com/stock_list.html 获取个股信息: 百度股票:https://gupiao.baid
阅读全文
Scrapy爬虫基本使用
摘要:一、Scrapy爬虫的第一个实例 演示HTML地址 演示HTML页面地址:http://python123.io/ws/demo.html 文件名称:demo.html 产生步骤 步骤1:建议一个Scrapy爬虫工程 生成的工程目录 python123demo/ >外层目录 scrapy.cfg >
阅读全文
Scrapy爬虫框架
摘要:一、Scrapy爬虫框架介绍 Scrapy:功能强大快速的网络爬虫框架,非常优秀的python第三方库,也是基于python实现网络爬虫的重要的技术路线 Scrapy的安装 pip3 install scrapy 安装后小测:执行scrapy -h scrapy不是一个简单的函数功能库,而是一个爬虫
阅读全文
爬虫实例
摘要:实例1:中国大学排名定向爬虫 功能描述 输入:大学排名URL链接 输出:大学排名信息的屏幕输出(排名,大学名称,总分) 技术路线:requests-bs4 定向爬虫:仅对输入URL进行爬取,不扩展爬取 程序的结构设计 步骤1:从网络上获取大学排名网页内容getHTMLText() 步骤2:提取网页内
阅读全文