04 2018 档案
摘要:Python的hashlib提供了常见的摘要算法,如MD5,SHA1等等。 什么是摘要算法呢?摘要算法又称哈希算法、散列算法。它通过一个函数,把任意长度的数据转换为一个长度固定的数据串(通常用16进制的字符串表示)。 摘要算法就是通过摘要函数f()对任意长度的数据data计算出固定长度的摘要dige
阅读全文
摘要:os模块是与操作系统交互的一个接口 os.stat('path/filename') 获取文件/目录信息 的结构说明 sys模块是与python解释器交互的一个接口 import sys try: sys.exit(1) except SystemExit as e: print(e)
阅读全文
摘要:1、深入理解python中的tuple的功能 基本特性 tuple比list好的地方在哪? 1,性能优化 2.线程安全 3.可以作为dict的key 4.拆包特性 如果拿c语言来类比,Tuple对应的是struct,而List对应的是array 2、namedtuple的功能详解 我们知道,clas
阅读全文
摘要:常见的User-Agent 1.Android Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/53
阅读全文
摘要:开发环境 Windows下安装Python: http://www.cnblogs.com/0bug/p/8228378.html virtualenv的安装:http://www.cnblogs.com/0bug/p/8598458.html Pycharm Professional:http:/
阅读全文
摘要:项目说明 本项目以今日头条为例,通过分析Ajax请求来抓取网页数据。 有些网页请求得到的HTML代码里面并没有我们在浏览器中看到的内容。这是因为这些信息是通过Ajax加载并且通过JavaScript渲染生成的,这时候就需要我们分析网页请求。 准备工作 python3、requests、Beautif
阅读全文
摘要:目标 提取出猫眼电影TOP100的电影名称、时间、评分、图片等信息,提取站点的URL为http://maoyan.com/board/4,提取的结果以文本的形式保存下来。 准备工作 请安装好requests库 requests库的基本用法可参数这篇文章:http://www.cnblogs.com/
阅读全文
摘要:Requests基于urllib3比urllib更简单方便。 基本的GET请求 { "args": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Host":
阅读全文
摘要:什么是Urllib? Python内置的HTTP请求库 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 相比Python的变化 Python2中的urllib
阅读全文
摘要:http的请求部分 基本结构 常用请头信息 Accept:text/html,image/*(告诉服务器,浏览器可以接受文本,网页图片) Accept-Charaset:ISO-8859-1 [接受字符编码:iso-8859-1] Accept-Encoding:gzip,compress[可以接受
阅读全文
摘要:最直观的区别就是GET把参数包含在URL中,POST通过request body传递参数。 GET在浏览器回退时是无害的,而POST会再次提交请求。 GET产生的URL地址可以被Bookmark,而POST不可以。 GET请求会被浏览器主动cache,而POST不会,除非手动设置。 GET请求只能进
阅读全文
摘要:Windows下: 到https://github.com/MicrosoftArchive/redis/releases下载: 下载完成后一步一步安装就行。 然后在安装一个可视化工具:https://github.com/uglide/RedisDesktopManager Linux下安装以Ub
阅读全文
摘要:本教程是崔大大的爬虫实战教程的笔记:网易云课堂 Python3+Pip环境配置 Windows下安装Python: http://www.cnblogs.com/0bug/p/8228378.html Linux以Ubuntu为例,一般是自带的,只需配置一下默认版本:http://www.cnblo
阅读全文
摘要:同步、异步的概念 同步和异步通常用来形容一次方法调用。 同步方法调用一旦开始,调用者必须等到方法调用返回后,才能继续后续的行为。 异步方法调用更像一个消息传递,一旦开始,方法调用就会立即返回,调用者就可以继续后续的操作。而,异步方法通常会在另外一个线程中,“真实”地执行着。整个过程,不会阻碍调用者的
阅读全文
摘要:一、 查看所有进程占用的端口 在开始-运行-cmd,输入:netstat –ano可以查看所有进程 二、查看占用指定端口的程序 当你在用tomcat发布程序时,经常会遇到端口被占用的情况,我们想知道是哪个程序或进程占用了端口,可以用该命令 netstat –ano|findstr “指定端口号” 二
阅读全文
摘要:使用pip freeze 这种方式配合virtualenv 才好使,否则把整个环境中的包都列出来了。 使用 pipreqs 这个工具的好处是可以通过对项目目录的扫描,自动发现使用了那些类库,自动生成依赖清单。
阅读全文
摘要:
阅读全文
摘要:Django REST framework里面有这样一段代码,在网上查@classonlymethod的意思是使得classmethod只允许使用用类对象来调用 classonlymethod实现代码如下:
阅读全文
摘要:什么是算法 算法是独立存在的一种解决问题的方法和思想。 算法的五大特性 输入: 算法具有0个或多个输入 输出: 算法至少有1个或多个输出 有穷性: 算法在有限的步骤之后会自动结束而不会无限循环,并且每一个步骤可以在可接受的时间内完成 确定性:算法中的每一步都有确定的含义,不会出现二义性 可行性:算法
阅读全文
摘要:基本操作: $ git init # 初始化操作 $ git status # 查看状态 $ vim user.txt # 编写文件 $ git add . # 变绿 $ git commit -m "向user.txt添加name" # 提交 $ git log # 查看日志 $ git rese
阅读全文