08 2019 档案
摘要：1 在执行mysqld命令时，下列配置会生效，即mysql服务启动时生效 [mysqld] character_set_server=utf8collation-server=utf8_general_ci #就是一个校对规则，一般默认都是这个，如果不是就改成这个就可以了 port=3306 # m
阅读全文
摘要：数据 https://pan.baidu.com/s/1kIJnZsYyiO-7FypWmYvY7w
阅读全文
摘要：pandas的拼接操作 pandas的拼接分为两种： 级联：pd.concat, pd.append 合并：pd.merge, pd.join 1. 使用pd.concat()级联 pandas使用pd.concat函数，与np.concatenate函数类似，只是多了一些参数： 2 不匹配的级联
阅读全文
摘要：处理丢失数据： 有两种丢失数据 None np.nan(NaN的形式) 1 None None是Python自带的，其类型为python object。因此，None不能参与到任何计算中。 pandas中的None与NaN 1 pandas中的None与np.nan是视作np.nan 创建DataF
阅读全文
摘要：安装 pip install mysql-python 报错： 解决办法： 安装 pip install python-ldap 报错 解决办法： 没有网的情况安装pip包 1 找一台有网的服务器 将需要安装的pip包的版本卸载requirements.txt文件中，通过下面的命令下载包，之后将下载
阅读全文
摘要：- 增量式爬虫 - 概念：监测网站数据更新的情况，爬取最新更新出来的数据！ - 实现增量式？ - 去重！- 电影网站：爬取的数据没有在同一张页面中！ - 需要对每一部电影详情页的url做记录 - 下载执行程序的时候，需要将即将被爬取电影详情页的url做记录监测 - 电影详情页的url记录可以存储到S
阅读全文
摘要：在返回json对象的几种方式： 1 2 使用JsonResponse返回数据。实现简单的序列化 3 用django内置的进行json序列化 4使用djangorestful进行json序列化 5 使用serializers.ModelSerializer返回
阅读全文
摘要：单线程+多任务异步协程的概念 实现的意义： 提取爬取数据的效率 实现异步爬虫的方式 多线程/多进程（不建议） 池（适当） 单线程+多任务异步协程（推荐） 概念 协程：协程对象。可以使用async关键字修饰一个函数的定义（特殊的函数），当该特殊的函数被调用后，就可以返回一个协程对象。当函数调用后，函数
阅读全文
摘要：1 使用api调用数据: 在浏览器的地址栏中输入: 这个api调用github当前托管的python项目 "total_count": github上共有的python项目 "incomplete_results": true, 表示请求成功,如果github无法处理该api他返回的值是true "
阅读全文
摘要：同步代码： hello bobo! hello jay! hello tom! 6.016878366470337 异步代码 基于线程池实现异步爬取 asyncio 如何产生一个携程对象 什么是任务对象 任务对象和携程对象的区别 任务对象如何绑定一个回调呢 什么是事件循环呢？ aiohttp 如何产
阅读全文
摘要：代理操作 代理的目的 为解决ip被封的情况 什么是代理 代理服务器：fiddler 为什么使用代理可以改变请求的ip 本机的请求会先发送给代理服务器，代理服务器会接受本机发送过来的请求（当前请求对应的ip就是本机ip），然后代理服务器会将该请求进行转发，转发之后的请求对应的ip就是代理服务器的ip。
阅读全文
摘要：pip3 install uwsgi 报错 yum -y install python36-devel 解决
阅读全文
