摘要: 股票信息定向爬取 功能描述: 目标 获取上交所和深交所所有股票的名称和交易信息 输出 保存在文件中 技术路线 requests bs4 re 候选爬取网站: 新浪股票 http://finance.sina.com.cn/stock/ 百度股票 https://gupiao.baidu.com/st 阅读全文
posted @ 2018-05-01 23:20 歪胡子的日常 阅读(328) 评论(0) 推荐(0) 编辑
摘要: 下载 安装文件的下载网址是:https://dev.mysql.com/downloads/mysql/ 针对的是社区免费版,一开始下载的是8.0,但是安装总出问题,安装的参考资料较少,后来用的5.7.22,成功安装 1、msi 相当于安装程序 2、zip 免安装压缩程序包,解压即可,用的这一个 安 阅读全文
posted @ 2018-05-01 15:49 歪胡子的日常 阅读(184) 评论(0) 推荐(0) 编辑
摘要: 问题1、信号显示精度不够,比如理想信号是正弦信号,但是显示的信号不够smooth 解决方法1、步长设置,在simulation configuration parameters solver options里修改type为固定步长,并将fixed step size修改更加精细 解决方法2、示波器模 阅读全文
posted @ 2018-04-13 22:46 歪胡子的日常 阅读(3643) 评论(0) 推荐(0) 编辑
摘要: 功能描述: 目标 获取淘宝搜索页面的信息,提取其中的商品信息名称和价格 理解 淘宝的搜索接口 翻页的处理 技术路线 requests re 当我们在淘宝上搜索书包时: 观察淘宝页面可知每一页共44个商品。 同时通过robots协议,发现不支持爬取。 程序的结构设计: 1、提交商品搜索需求,循环获取页 阅读全文
posted @ 2018-04-13 22:20 歪胡子的日常 阅读(411) 评论(0) 推荐(0) 编辑
摘要: import re match=re.search(r'[1-9]\d{5}','BIT100081') if match: print(match.group(0)) #输出 100081 type(match)#输出 _sre.SRE_Match import re m=re.search(r' 阅读全文
posted @ 2018-04-10 23:57 歪胡子的日常 阅读(898) 评论(0) 推荐(0) 编辑
摘要: 主要用于字符串的匹配 正则表达式的表示类型 raw string类型(原生字符串类型) re库采用raw string类型表示正则表达式,表示为 r.'text' 例如:邮政编码表示为 r'[1-9]\d{5}' 电话号码表示为r'\d{3}-\d{8}|\d{4}-\d{7}' raw strin 阅读全文
posted @ 2018-04-09 22:41 歪胡子的日常 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 正则表达式用来简洁表达一组字符串。 一行胜千言 如用'PY+'表示'PY' 'PYY' 'PYYY' 'PYYYY....'等字符串 如果,以‘PY’开头,后续存在不多于10个字符,后续字符不能是‘P’或‘Y’,可以用‘PY[^PY]{0,10}’表示 正则表达式在文本处理中十分常用: 1、表达文本 阅读全文
posted @ 2018-04-06 23:24 歪胡子的日常 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 曲线绘制 我们会遇到n条曲线绘制在一张图上,同时这里的n比较大,不允许我们逐条绘制在一张图里 解决方法: 一定注意hold on与hold off的使用 多条曲线的颜色绘制 如果多条曲线都用一个颜色,容易造成混乱。 解决方法,做出一个颜色矩阵 阅读全文
posted @ 2018-04-02 09:23 歪胡子的日常 阅读(2651) 评论(0) 推荐(0) 编辑
摘要: 网址https://book.douban.com/reading/46607817/ 建立回归器后,需要建立评价回归器拟合效果的指标模型。 平均误差(mean absolute error):这是给定数据集的所有数据点的绝对误差平均值 均方误差(mean squared error):给定数据集的 阅读全文
posted @ 2018-03-29 23:39 歪胡子的日常 阅读(4621) 评论(0) 推荐(0) 编辑
摘要: 最好大学网 2018大学排名 功能描述: 输入:大学排名url链接 输出:大学排名信息的屏幕输出(排名,大学名称,总分) 技术路线:requests库和bs4库 定向爬虫:仅对输入的URL进行爬取,不扩展爬取 步骤: 1、输入url网址,查看源代码,发现信息都在HTML文件中 2、打开http:// 阅读全文
posted @ 2018-03-29 20:56 歪胡子的日常 阅读(3172) 评论(0) 推荐(0) 编辑