摘要：
所有文件内的package必须一样（可以改别名，但是各个文件内的别名要一样） 函数高级 + 闭包函数 + 类型命别名 if else 基本用法 在条件中可以定义变量 包 前言：其实就是导模块 实例 mypackage 1 mypackage 2 调用 循环 switch语句 switch相当于if 阅读全文
摘要：
drop列删除行 groupby(列名).groups分组。 有坑点 groupby是DataFrame对象了，只是通过 groups 将结果以字典的形式呈现出来。或者通过size()计算次数 分组为多个：用列表套起来 size()计算次数 排序（坑点） sort_values()按值排序排序 阅读全文
摘要：
reshape的乘等于最大值，否则不能容下 数据分析：pandas 阅读全文
摘要：
""" 操作selenium的时候，先写一点，再按照它打开的浏览器写找到内容，因为我的浏览器可能是保存密码等设置过，和他的界面不一样！！ 查找的时候，有id尽量找id 操作selenium命令如下 点击click() 各种通过id，text，class查找等 输入.send_keys(） 获取coo 阅读全文
摘要：
学习方法：？shift+enter 例如： token问题 去D盘输入jupter，就显示该盘文件 1列表转换数组： 打印结果 数组相乘(向量操作) 2 ndarray二维数组 ndarray二维数组：列表套两个或多个列表 out: 3. ndarray的属性 res.T——数组的转置（对高维数组而 阅读全文
摘要：
1 数据存储到mongodb（pipeline持久化） 深度优先和广度优先 scrapy中通过队列和栈和优先级队列实现该方案 把地址存入数据库:如下4个地方需要操作 settings配置，之后才能调度到pipeline中去执行 cnblogs.py items.py pipelines.py 阅读全文
摘要：
mongodb:非关系型数据、在硬盘上 用python操作mongodb scrapy 运行爬虫： 注意：两点 右键启动（更目录下新建main.py文件） scrapy内置的数据查找（\ \ ） 获取页面的xpath方法： 遇到一个小小的问题： 阅读全文
摘要：
1 解析json 2 SSL 3使用代理 4 认证设置 5 异常处理 继承requests的异常；也可以自己指定except异常 上传文件 解析库beautifulsoup find： name="标签名" 标签 id，class_,="" 把这个标签拿出来 标签.text 取标签的内容 标签.ge 阅读全文
摘要：
编码问题： get请求携带参数 模拟登陆 1带请求头 2request请求 3.如果登录成功，cookie会存在于res对象中 4.向首页发送get请求验证是否登陆成功 爬取视频 深浅拷贝 阅读全文
摘要：
复习 视图类传递参数给序列化类 view= serlizer 视图层：views.py 序列化层：serializers.py 封装Response类 用途：我们在view中写对应请求方法的时候会重复写Response方法，这需要简化操作 实现（如下）： 使得自定义一个Myresponse()直接就 阅读全文