随笔分类 - Python
摘要：我们在使用pandas读取文件时，常会遇到某个字段为NaN。 一般情况下，这时因为文件中包含空值导致的，因为pandas默认会将 '-1.#IND', '1.#QNAN', '1.#IND', '-1.#QNAN', '#N/A N/A','#N/A', 'N/A', 'NA', '#NA', 'N
阅读全文
摘要：从今天起，我会在这里记录一下学习深度学习所留下的足迹，目的也很简单，手头有近3w个已经标记好正确值得验证码，想要从头训练出一个可以使用的模型， 虽然我也知道网上的相关模型和demo很多，但是还是非常希望自己可以亲手搞一个能用的出来，学习书籍主要是：李金洪老师的《深度学习之Tensorflow 入门、
阅读全文
摘要：前提： 下载anaconda,然后创建一个python虚拟环境： 命令： conda create -n tf_cpu python=3.6 # （tf_cpu 是这个虚拟环境的名字） 切换到该虚拟环境下： 命令：activate tf_cpu 查看所有虚拟环境列表 命令：conda env lis
阅读全文
摘要：1. 请简述三次握手和四次挥手： 答：首先TCP是传输控制协议，提供可靠的连接服务，采用三次握手确认建立一个连接，在建立TCP连接时，需要客户端和服务器总共发送3个包。 三次握手的目的是连接服务器的指定端口、建立TCP连接、同步双方的序列号和确认号、交换TCP窗口大小信息，在socket编程中，客户
阅读全文
摘要：最近打算用Django+vue搭建一个个人主站，在此记录一下搭建项目的整个过程。 一 开发环境： 腾讯云Centos 7 Python 3.7 Django 2.1.7 vue.js 2.9.6 mysql 5.7 二 创建Django项目： 因为我的主站是要放在腾讯云上来跑的，所以整个项目环境都应
阅读全文
摘要：在以前的文章中，我写过一篇使用selenium来模拟登录知乎的文章，然后在很长一段时间里都没有然后了。。。 不过在最近，我突然觉得，既然已经模拟登录到了知乎了，为什么不继续玩玩呢？所以就创了一个项目，用来采集知乎的用户公开信息，打算用这些数据试着分析一下月入上万遍地走、清华北大不如狗的贵乎用户像不像
阅读全文
摘要：这是我在腾讯云上安装mysql的一些记录 系统版本：CentOS Linux release 7.4.1708 (Core) mysql版本：mysql-5.7.25-linux-glibc2.12 一、安装前： 1.1 检查linux系统版本：[root@VM_0_14_centos ~]# ca
阅读全文
摘要：上一篇文章介绍了：创建线程的两种方式、Event对象判断线程是否启动、利用信号量控制线程并发。 博客链接：线程、进程、协程和GIL（二） 这一篇来说说线程间通信的那些事儿： 一个线程向另一个线程发送数据最安全的方式就是使用queue库中的队列了，通过创建一个供多个线程共享的Queue对象，这些线程使
阅读全文
摘要：上一篇博客讲了进程、线程、协程和GIL的基本概念，这篇我们来说说在以下三点： 1> python中使用threading库来创建线程的两种方式 2> 使用Event对消来判断线程是否已启动 3> 使用Semaphore和BoundedSemaphore两个类分别来控制线程的并发数以及二者之间的区别。
阅读全文
摘要：参考链接：https://www.cnblogs.com/alex3714/articles/5230609.html https://www.cnblogs.com/work115/p/5620272.html 编程离不开并发，而并发的基础就离不开线程、进程、协程。那么什么是线程、进程、协程呢？
阅读全文
摘要：paramiko 是一个用作远程控制的模块，它遵循SSH2协议，支持以加密和认证的方式来进行远程服务器的连接、操作、上传和下载。 官方文档地址：http://docs.paramiko.org/ paramiko基础操作主要有以下几种：执行远程命令，上传、下载文件 一、执行远程命令： 输出结果： 这
阅读全文
摘要：首先简要说一下各种字符编码： 1. ASCII 计算机只认识0101，但如何让计算机认识人类语言？将每个字母和符号给予固定的编号，然后将这个编号转换成二进制，计算机就可以正确识别这些字母与符号，同时计算机也可以逆操作，将二进制转换成对应的编号在翻译成相应的字符来显示给人类，所以产生了ASCII编码。
阅读全文
摘要：本文内容借鉴这篇博客：https://blog.csdn.net/agzhchren/article/details/79173491 但是这篇博客也是该博主转载的，文章具体出处我没有找到，如果有人知道文章具体出处，请在评论区告诉我，我好标明出处。 话说国际标准化组织ISO搞了个《OSI七层网络模型
阅读全文
摘要：因为词云有利于体现文本信息，所以我就将那天无聊时爬取的《悲伤逆流成河》的评论处理了一下，生成了词云。 关于爬取影评的爬虫大概长这个样子(实际上是没有爬完的): 在获取到文本之后我们就可以开始下面的工作了。 先说一下总体流程： 获取文本-->对文本进行处理，分词（将完整的句子分割成一个一个的词语）--
阅读全文
摘要：今天女票让我帮她写一个js中的正则，来提取电话号码，对于正则规则来说，js与python是基本没有区别的，重点的区别是在一些函数与方法中。 python中的正则提取： js中的正则提取： 两者主要区别： 还有疏忽的地方，来日想起来再补充吧。这儿有个别的大佬写的，栗子啥的挺全的： 大佬链接：https
阅读全文
摘要：想了解更多Python关于爬虫、数据分析的内容，欢迎大家关注我的微信公众号：悟道Python
阅读全文
摘要：前几天在抓博客园文章，打算每天抓10条最新的，所以就在脚本中加了定时让它在每天凌晨四点中时执行，但是昨天发现，报错了： 显示是远程主机强制关闭了一个链接, 原因是：mysql数据库默认当连续8小时不对数据库进行I/O操作时，数据库就会断开连接，而我的脚本每天执行一次，当然就会报错： MySQL服务器
阅读全文
摘要：昨晚在爬取猫眼电影评论时在将评论信息插入到数据库中时出现问题，总是在插入一条数据时就会报错： 看着应该时字符编码的问题，比如新建的数据库新建的表，默认字符编码是：Latin1, 这种编码是无法插入中文的。此时将数据库字符集和表的字符集编码改为utf8，然后重启mysql就可以插入中文了。 但是高潮来
阅读全文
摘要：闲来无事，抓一下博客园的文章玩玩，当然，不会暴力抓取，每天就抓10条就好。 先前抓美团数据时因为抓的太快，ip被ban掉了，所以这次就搞了个selenium来模拟点击，纯属娱乐。 上代码： 上边的代码时跑在windos下的，如果想要跑在linux下，Chrome会比较复杂，配置PhantomJS比较
阅读全文
摘要：腾讯云环境为Centos7.4 mysql版本为5.6 本次安装使用yum安装 检查是否已有mysql： yum list installed | grep mysql 下载yum源文件： wget http://repo.mysql.com/mysql-community-release-el7-
阅读全文
