耀扬 - 博客园

fiddler不能抓包chrome的问题

摘要：调试chrome接入安装了fiddler，唯独在chrome上无法使用（edge可以，chrome无痕模式也可以）。 https://blog.csdn.net/beishanyingluo/article/details/103132903 试了网上各种方法。最后还是通过安装代理插件 Swit 阅读全文

posted @ 2022-04-14 15:40 耀扬阅读(454) 评论(0) 推荐(0)

chardet库的问题

摘要：网页内容编码格式的自动判断一直是困扰爬虫的一个重要问题！ python的chardet库，提供了一个解决方案。 import chardet import requests url = "https://www.baidu.com" resp = requests.get(url) # detect 阅读全文

posted @ 2022-04-14 11:36 耀扬阅读(66) 评论(0) 推荐(0)

各种网站新闻正文抽取利器GeneralNewsExtractor

摘要： GNE在提取今日头条、新浪，腾讯新闻等数百个中文新闻网站上效果非常出色，几乎能够达到100%的准确率。先安装库 pip install --upgrade gne 调用 url 一个新闻链接如“https://www.sohu.com/a/534140980_162522?editor=%E9% 阅读全文

posted @ 2022-04-01 11:52 耀扬阅读(700) 评论(0) 推荐(0)

爬虫利器faker_useragent构造user-agent池

摘要：一部分网站反爬，会通过检查请求的请求头里是否有浏览器的user-agent来判断请求是否是爬虫。当你在请求头里加上user-agent，然后，进行反复的请求后，系统又会判断请求时爬虫，因为单一版本浏览器请求过多，为了达到以假乱真的目的，你需要构建一个user-agent池，然后随机调用，那样相对比阅读全文

posted @ 2022-04-01 11:31 耀扬阅读(261) 评论(0) 推荐(0)

转：图文详解ElasticSearch技术，看这一篇就够了

摘要：傅一平评语：这篇文章深入浅出的讲解了ES的技术原理，写得挺好，我顺便总结了科普类技术好文章的三个特点： 1、从一个具体案例讲起，点出采用这个技术的必要性，对于读者来讲，特别是对于技术管理者来讲，可以不知道技术细节，但一定要知道为什么要这么做，能解决什么业务问题。 2、代码是最难理解的，将代码用流程阅读全文

posted @ 2022-03-23 10:17 耀扬阅读(386) 评论(0) 推荐(0)

转：就想写个爬虫，我到底要学多少东西啊？

摘要：本文转载自公众号进击的 Coder，作者是静觅博客博主、畅销书《Python 3网络爬虫开发实战》的作者崔庆才。本文全面介绍了学习爬虫必须要掌握的一些技术知识，希望能帮助正在入门爬虫的你找到学习方向。当今大数据的时代，网络爬虫已经成为了获取数据的一个重要手段。但要学习好爬虫并没有那么简单。首先知阅读全文

posted @ 2022-03-23 09:40 耀扬阅读(238) 评论(0) 推荐(0)

endnote x9 使用说明

摘要： 1、创建数据库库自己命名。尽量选一个空间充裕的磁盘。后期会存放大量的内容 2、导入文献目前亲测 x9 在无法连接外部数据库的情况下只能逐个导入文献。苦啊总结了一个小方法：第一步导出txt文件然后逐个下载pad文件。可恶的知网默认下载的是caj格式文件。endnote不支持啊只能逐个页阅读全文

posted @ 2022-02-24 15:56 耀扬阅读(1101) 评论(0) 推荐(1)

什么是UTXO

摘要： UTXO英文全称为Unspent Transaction Output，的中文意思叫作“未消费交易输出”。所谓UTXO模型，简单来说，就是一种特殊的账户记账模型。它跟银行传统的账户模型有一个很大的区别就是，这种模型只记录交易本身，而不记录交易的结果。传统的账户余额模型是直接记录结果的：例如阅读全文

posted @ 2022-01-03 20:14 耀扬阅读(2220) 评论(0) 推荐(0)

python交集并集差集对称差集

摘要： a=set([1,2,3,4]) b=set([3,4,5,6]) #并集 a|b {3, 4} #交集 a&b {1, 2, 3, 4, 5, 6} #差集 a-b {1, 2} #对称差集 a^b {1, 2, 5, 6} 阅读全文

posted @ 2021-10-15 16:08 耀扬阅读(223) 评论(0) 推荐(0)

python实现二维数组复制

摘要： h=[[1,2],[2,3]] v=[[x for x in y] for y in h] v[0][0]=2 v [[2, 2], [2, 3]] 阅读全文

posted @ 2021-09-17 17:00 耀扬阅读(607) 评论(0) 推荐(0)

标量、矢量(向量)、张量（tensors）的理解

摘要： #标量用通俗的说法，标量是只有大小，没有方向的量。如质量、密度、温度、功、能量、路程、速率、体积、时间、热量、电阻、功率、势能、引力势能、电势能等物理量。无论选取什么坐标系，标量的数值恒保持不变。 #矢量(向量) 指具有大小（magnitude）和方向的量。如，一个物体的位移 #张量（tens 阅读全文

posted @ 2021-09-15 18:06 耀扬阅读(10940) 评论(0) 推荐(0)

机器学习中什么是baselines

摘要： baseline 就只是「参照物」的意思如果你是机器学习的初学者，在做课程作业，那么你可能用「随机猜测」作为 baseline；如果你是要在顶会发论文，那么很可能就需要用当前最好的系统（称为 state of the art）来作 baseline，否则审稿人就会质疑。如果你的论文的论点是「我针阅读全文

posted @ 2021-09-14 18:39 耀扬阅读(2474) 评论(0) 推荐(0)

python正则表达式过滤

摘要： strr=r'045-夜总.....夜（6人封闭）.zip.zip' re.sub(r'\d+-|(.zip)|[（](.*?)[）]', "",strr) 输出结果夜总.....夜阅读全文

posted @ 2021-08-12 17:50 耀扬阅读(378) 评论(0) 推荐(0)

mysql优化初步

摘要： The total number of locks exceeds the lock table size 问题我的电脑右键-管理-服务和应用程序-服务-找到 mysql任务，先终止任务。 mysql 安装文件夹下有个文件 my.ini 直接打开修改mysql配置文件搜索 tmp_table_ 阅读全文

posted @ 2021-08-11 14:33 耀扬阅读(66) 评论(0) 推荐(0)

卷积与Max Pooling(池化)

摘要： #1、什么是卷积从数学上讲，卷积就是一种运算。有这么一副图像，可以看到，图像上有很多噪点：高频信号，就好像平地耸立的山峰：看起来很显眼。平滑后得到：平滑这座山峰的办法之一就是，把山峰刨掉一些土，填到山峰周围去。用数学的话来说，就是把山峰周围的高度平均一下。卷积可以帮助实现这个平滑算法。阅读全文

posted @ 2021-08-10 17:04 耀扬阅读(1005) 评论(0) 推荐(0)