摘要: 序言: 前两天有接收到一下问题,如何拿到浏览器指纹中的位置信息和CPU,在这之前完全没有接触过浏览器指纹,抱着学习和好奇的心态,就去网上查了大量的资料。下面我将学习过程和成果贴出来给大家。 步骤 1、什么是浏览器指纹? 一般情况下,网站或者广告商都想要一种技术可以在网络上精确的定位到每一个个体,这样 阅读全文
posted @ 2017-12-15 17:41 风起了,风停了 阅读(35501) 评论(2) 推荐(2) 编辑
摘要: 在阿里云的云市场上买了一个图形验证码识别的接口,用这个接口写了python图形验证码识别的代码: https://market.aliyun.com/products/57124001/cmapi031324.html?spm=5176.730005.productlist.d_cmapi03132 阅读全文
posted @ 2017-12-15 09:59 风起了,风停了 阅读(4980) 评论(0) 推荐(0) 编辑
摘要: 是一种基于搜索的最优法方法 下面这个图是在一维方向的求导,但是在多维的我们需要对各个维度求导,然后进行一个合并。多维中叫做梯度。 在直线上,导数代表斜率 在曲线方程中,导数代表切线斜率。也代表theta单位变化时,J相应的变化 在这一点上,导数为负值,当theta增加,J是减小的。导数可以代表方向, 阅读全文
posted @ 2017-12-07 16:07 风起了,风停了 阅读(3917) 评论(0) 推荐(0) 编辑
摘要: 在上面的三篇中我们html的解析都是用了正则表达式进行匹配。下面我们主要说一下一个使用起来很简单的模块xpath进行匹配解析html文本。 Chrome上有一款插件:XPath Helper,直接在浏览器就可以验证xpath表达式的书写是否正确。 lxml 使用流程 xpath匹配规则 抓取Demo 阅读全文
posted @ 2017-11-15 18:18 风起了,风停了 阅读(546) 评论(0) 推荐(0) 编辑
摘要: 1. 模型性能评价及选择 看下sklearn中支持哪些机器学习的评估指标: 1.1回归模型性能评价及选择 1.1.1Mean Absolute Error 平均绝对误差(MAE) 损失函数没有用这个,是因为绝对值不方便求导 1.1.2Mean Squared Error 均方误差(MSE) 1.1. 阅读全文
posted @ 2017-11-10 14:52 风起了,风停了 阅读(4633) 评论(1) 推荐(0) 编辑
摘要: requests模块其实就是对urllib.request模块的进步一不优化,提供了很多可选的参数,同时简化了操作。下面我还是贴上具体操作的代码。 requests GET请求 GET请求html文件 GET请求二进制文件 requests POST 请求 阅读全文
posted @ 2017-10-27 12:01 风起了,风停了 阅读(649) 评论(0) 推荐(0) 编辑
摘要: 将数据存储到CSV文件 将数据存储到mysql中 将数据存储到pymongo中 阅读全文
posted @ 2017-10-26 11:53 风起了,风停了 阅读(1725) 评论(0) 推荐(0) 编辑
摘要: 1. 监督学习,非监督学习,半监督学习和增强学习 机器学习方法分类标准一: 监督学习:分类、回归 给机器的训练数据拥有“标记”或“答案” 有监督机器学习方法可以分为生成方法和判别方法(常见的生成方法有LDA主题模型、朴素贝叶斯算法和隐式马尔科夫模型等,常见的判别方法有SVM、LR等),生成方法学习出 阅读全文
posted @ 2017-10-24 15:04 风起了,风停了 阅读(1868) 评论(0) 推荐(0) 编辑
摘要: 一、交叉连接(笛卡尔连接) 二、内连接(inner join) 三、左连接(left join) 四、右连接(right join) 五、全连接(full join) 阅读全文
posted @ 2017-10-21 00:20 风起了,风停了 阅读(2545) 评论(0) 推荐(0) 编辑
摘要: 需要清洗的数据有下面几种形式 2.1错误值 出现大量0的话,可以使用缺失值替代,然后再用缺失值填补的方法处理 camp['AvgIncome']=camp['AvgIncome'].replace({0: np.NaN}) 2.2 缺失值 vmean = camp['Age'].mean(axis= 阅读全文
posted @ 2017-10-20 11:01 风起了,风停了 阅读(60788) 评论(4) 推荐(4) 编辑