随笔分类 - python
摘要:import subprocess as sb import requests if __name__ == '__main__': #获取服务器的出口ip ip = sb.getoutput('curl ifconfig.me').split('\n')[-1] #调用芝麻添加白名单的链接,添加即可 response = requests.get('curl ...
阅读全文
摘要:current_time = (datetime.datetime.now() + datetime.timedelta(hours=8)).strftime('%Y-%m-%d %H:%M:%S')
阅读全文
摘要:https://www.jianshu.com/p/2f9a2b4c3aa3
阅读全文
摘要:python操作csv,现在很多都用pandas包了,不过python还是有一个原始的包可以直接操作csv,或者excel的,下面举个例子说明csv读写csv文件的方法:
阅读全文
摘要:a = """ Arts & Crafts Automotive Baby """ print(re.sub('\\','',a))#输出结果为: Arts & Crafts Automotive Baby
阅读全文
摘要:简介 如果你有一个很大的数据集,有很多的变量,而且已知这是一个分类问题,你想快速的得到你的分类结果,那朴素贝叶斯是一个不错的选择,他比一般的分类算法都要快,他的理论基础是概率中的贝叶斯定理。 本文会介绍朴素贝叶斯的理论基础,以及一个基于python的实战例子,so,坐稳了,准备开车 目录 1.朴素贝
阅读全文
摘要:本篇文章分为两个部分,前一部分主要简单介绍K近邻,后一部分是一个例子 第一部分--K近邻简介 从字面意思就可以容易看出,所谓的K近邻,就是找到某个样本距离(这里的距离可以是欧式距离,曼哈顿距离,切比雪夫距离等)最近的K个数据,根据最近的K个邻居属于什么分类,来判断这个样本属于什么分类。 简单说一下优
阅读全文
摘要:本文主要介绍决策树的基本概念和如最简单的入门实例 第一部分--基本概念: 什么是决策树? 我不打算搞一段标准的定义放在这里,我个人理解是建立一个树来帮助决策,下面以一个图说明一下(注:图是盗别人的) 这就是一个决策树,从图中可以一目了然的了解决策树的概念,上面的图中只有一个属性来决定这个人是男还是女
阅读全文
摘要:下面的代码为了每天定时发送监控邮件,监控什么呢?监控当天redis队列中是否有没有消费的数据,和当天mysql中新增的数据量 # -*- coding:utf-8 -*- from common.redis import redisServ from common.mysql import database from email.mime.text import MIMEText from em...
阅读全文
摘要:import timetime.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
阅读全文
摘要:所报的错误为:pymysql.err.OperationalError: (1213, 'Deadlock found when trying to get lock; try restarting transaction') 产生这个问题的原因: 多个线程同时执行,且是先删除后插入,因为删除获取一
阅读全文
摘要:由于标题中的错误引发: Message: Tried to run command without establishing a connection 解释: 先说一下我的爬虫架构,用的是firefox+selenium,上面的那个错误是因为浏览器退出之后,爬虫还要浏览器去执行一些命令,所以才报上面
阅读全文
摘要:背景:项目中引入日志是必须的,这里介绍通过配置文件config.ini的方式配置日志 1.新建config.ini 2.添加配置
阅读全文
摘要:问题描述:在爬取一些反爬机制做的比较好的网站时,经常会遇见一个问题就网站代码是通过js写的,这种就无法直接使用一般的爬虫工具爬取,这种情况一般有两种解决方案 第一种:把js代码转为html代码,然后再使用html代码解析工具爬取,目前常用的工具是selenium和scrapy-splash,我使用的
阅读全文