HuaBro

2020年5月8日

摘要：比如我们要调试某网页：https://g.widora.cn/ shell不依赖工程环境 scrapy shell https://g.widora.cn/ 类似页面F12，可用对象都列出来了，一般常用response 前面省略 2020-05-08 21:07:18 [asyncio] DEBUG 阅读全文

posted @ 2020-05-08 21:31 HuaBro 阅读(489) 评论(0) 推荐(0) 编辑

python基础：list与string互转

摘要：数据清洗必备技能 https://www.cnblogs.com/yaner2018/p/11162630.html 阅读全文

posted @ 2020-05-08 13:14 HuaBro 阅读(512) 评论(0) 推荐(0) 编辑

【python爬虫】scrapy实战1--百万微博任性采集

摘要：原文： https://blog.csdn.net/qq_36936730/article/details/105132550 阅读全文

posted @ 2020-05-08 11:52 HuaBro 阅读(177) 评论(0) 推荐(0) 编辑

2020年5月7日

【python爬虫】scrapy入门4--添加cookies

摘要： (1) settings.py 取消注释：COOKIES_ENABLED = True (2)爬虫xx.py def parse(self, response): c_dic = {自己抓包} # 获取cookies xxx自己写原始页面xxx yield scrapy.Request(url,co 阅读全文

posted @ 2020-05-07 18:25 HuaBro 阅读(421) 评论(0) 推荐(0) 编辑

【python爬虫】scrapy入门2--自定义item

摘要： items.py class LianhezaobaospyderItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # pass body=scrapy.Field() li 阅读全文

posted @ 2020-05-07 18:01 HuaBro 阅读(322) 评论(0) 推荐(0) 编辑

2020年5月6日

【python爬虫】scrapy入门1--环境搭建

摘要： Scrapy Day01 （1）进入主目录，右键打开终端，创建项目 scrapy startproject xicidailiSpyder 进入项目目录 cd xicidailiSpyder/ 创建爬虫文件（文件名不能与项目名相同） scrapy genspider xicidaili www.x 阅读全文

posted @ 2020-05-06 22:47 HuaBro 阅读(213) 评论(0) 推荐(0) 编辑

2020年4月29日

sklearn学习：为什么roc_auc_score()和auc()有不同的结果？

摘要：为什么roc_auc_score()和auc()有不同的结果？ auc()：计算ROC曲线下的面积.即图中的area roc_auc_score()：计算AUC的值，即输出的AUC 最佳答案 AUC并不总是ROC曲线下的面积.曲线下面积是某个曲线下的(抽象)区域,因此它比AUROC更通用.对于不平衡阅读全文

posted @ 2020-04-29 11:58 HuaBro 阅读(21145) 评论(1) 推荐(0) 编辑

2020年4月27日

【情感分析必备】python文件读写：codecs

摘要： codecs在读取文件时，发生错误： UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbe in position 0: invalid start byte 中文切换编码：gbk，正常解决。但有时，utf-8和gbk都不好使用，使用no 阅读全文

posted @ 2020-04-27 14:55 HuaBro 阅读(309) 评论(0) 推荐(0) 编辑

2020年4月23日

【pyecharts】地图显示不全

摘要：官网给的解释如下：自从 0.3.2 开始，为了缩减项目本身的体积以及维持 pyecharts 项目的轻量化运行，pyecharts 将不再自带地图 js 文件。如用户需要用到地图图表，可自行安装对应的地图文件包。全球国家地图: echarts-countries-pypkg (1.9MB): 阅读全文

posted @ 2020-04-23 16:24 HuaBro 阅读(762) 评论(0) 推荐(0) 编辑

【python 】文件下载进度条（装逼利器）

摘要：基础版 import requests url = "http://mp.111ttt.cn/mp3free/81135985.mp3" rsp = requests.get(url, stream=True) with open('1.mp3', 'wb') as f: for i in rsp. 阅读全文

posted @ 2020-04-23 11:19 HuaBro 阅读(2164) 评论(0) 推荐(0) 编辑

公告