随笔分类 - python成长之路
积少成多，一步一步成长！见证自己的python正常之路
摘要：这篇文章主要是对的scrapy命令行使用的一个介绍 创建爬虫项目 scrapy startproject 项目名例子如下： 这个时候爬虫的目录结构就已经创建完成了,目录结构如下： 接着我们按照提示可以生成一个spider,这里以百度作为例子,生成spider的命令格式为;scrapy genspid
阅读全文
摘要：这一篇文章主要是为了对scrapy框架的工作流程以及各个组件功能的介绍 Scrapy目前已经可以很好的在python3上运行Scrapy使用了Twisted作为框架，Twisted有些特殊的地方是它是事件驱动的，并且比较适合异步的代码。对于会阻塞线程的操作包含访问文件、数据库或者Web、产生新的进程
阅读全文
摘要：这里是通过爬取伯乐在线的全部文章为例子，让自己先对scrapy进行一个整理的理解 该例子中的详细代码会放到我的github地址：https://github.com/pythonsite/spider/tree/master/jobboleSpider 注：这个文章并不会对详细的用法进行讲解，是为了
阅读全文
摘要：这里我们通过请求网页例子来一步步理解爬虫性能 当我们有一个列表存放了一些url需要我们获取相关数据，我们首先想到的是循环 简单的循环串行 这一种方法相对来说是最慢的，因为一个一个循环，耗时是最长的，是所有的时间总和代码如下： 通过线程池 通过线程池的方式访问，这样整体的耗时是所有连接里耗时最久的那个
阅读全文
摘要：注意本项目是针对培训学校开发简化的CRM CRM简介 CRM全称：customer relationship management 无CRM的痛点 没有CMR的缺点及痛点： 将痛点转换成需求 班级—>课程节次—>学员上课记录 关于表结构 后续完整后补充 关于django的admin 知识点回顾： 使
阅读全文
摘要：以后的博客将更新到自己的域名syncd.cn,欢迎访问
阅读全文
摘要：中间件简介 django 中的中间件（middleware），在django中，中间件其实就是一个类，在请求到来和结束后，django会根据自己的规则在合适的时机执行中间件中相应的方法。 在django项目的settings模块中，有一个 MIDDLEWARE_CLASSES 变量，其中每一个元素就
阅读全文
摘要：一、缓存 简介 由于Django是动态网站，所有每次请求均会去数据进行相应的操作，当程序访问量大时，耗时必然会更加明显，最简单解决方式是使用：缓存，缓存将一个某个views的返回值保存至内存或者memcache中，5分钟内再有人来访问时，则不再去执行view中的操作，而是直接从内存或者Redis中之
阅读全文
摘要：简介 django为用户实现防止跨站请求伪造的功能，通过中间件 django.middleware.csrf.CsrfViewMiddleware 来完成。而对于django中设置防跨站请求伪造功能有分为全局和局部。 全局： 中间件 django.middleware.csrf.CsrfViewMi
阅读全文
摘要：基于cookie做用户验证时：敏感信息不适合放在cookie中 session依赖cookie session原理 cookie是保存在用户浏览器端的键值对 session是保存在服务器端的键值对 session服务端中存在的数据为： session客户端即客户端的浏览器的cookie中存的数据是当
阅读全文
摘要：自定义simple_tag 内置的方法 首先Django中包含了很多内置的方法： 这里通过lower实现 在views视图函数中写如下代码： 在urls路由关系中添加如下： url(r'^tp3/',views.tp3), 在tp3页面中写如下： {{ name }} {{ name|lower }
阅读全文
摘要：Django中的URL补充 默认值 在url写路由关系的时候可以传递默认参数，如下： url(r'^index/', views.index,{"name":"root"}), 这样在视图函数中，就可以获取这个默认参数name: 命名空间 通过下面例子理解： 在项目的urls里写入如下代码： 在ap
阅读全文
摘要：Django创建一对多表结构 首先现在models.py中写如下代码： 这里有几个知识点： 1、b = models.ForeignKey(to="Business",to_field="id") 这里的to参数是表示和那个表创建外键关系 to_field参数表示和表中那个字段创建外键关系,如果不指
阅读全文
摘要：环境准备 1、 创建一个Django后，Django的目录： 创建app，通过命令： python manage.py startapp app01 创建app之后的目录结构如下： 2、 创建一个项目之后首先需要做的配置 Django_s1目录下settings.py文件中需要做如下配置： 找到MI
阅读全文
摘要：JS正则 -test 判断字符串是否符合规定的正则表达式 -exec 获取匹配的数据 test的例子： 从上述的例子我们可以看出，如果rep.test匹配到了就返回true,否则返回false exec的例子 上述匹配的结果是一个数组，但是不管匹配几次都只显示第一个 正则中的分组 全局匹配 没有分组
阅读全文
摘要：jQuery基础 1、 jQuery其实就是一个类库，集成了DOM/BOM/JavaScript的类库 http://jquery.cuishifeng.cn/这个网站里有所有的jQuery的方法 2、 查找元素 jQuery里有：选择器、筛选器 关于jQuery的版本 关于jQuery的版本：(现
阅读全文
摘要：词法分析 词法分析方法： js运行前有一个类似编译的过程即词法分析，词法分析主要有三个步骤： 分析参数 再分析变量的声明 分析函数说明 具体步骤如下： 函数在运行的瞬间，生成一个活动对象（Active Object），简称AO 分析参数 分析变量声明，如var age;或var age=23; 分析
阅读全文
摘要：CSS补充之--页面布局 主站一：（下面是一个大致的模板） 这样是把网站分为了上中下三部分，最上面是头部，中间是主要内容，下面是底部的信息 后台管理布局 布局一：效果图如下： 当滑动右边滚动条的时候其他区域保持不变只有aaa占的部分会发生滚动 实现代码： 布局二：效果图如下（这种是必须会的，后台布局
阅读全文
摘要：css补充: position: fixed：可以将标签固定在页面的某个位置 absolute+relative：通过两者的结合可以让标签在一个相对的位置 代码例子：（通过fixed标签将某些内容固定在某个位置） 这样实现的效果：如下图，当拖动左边的滚动条的时候，头部的内容会一直显示在顶部 很多网站
阅读全文
摘要：1、 一套规则，浏览器认识的规则。 2、 在html里的注释：<--！ 注释的内容 --> 3、 只能有一个html标签、head标签、body标签 4、 在head标签里写的所有标签内容是看不见的，除了title标签 head里的标签： 标题： <title>z赵凡</title> 标题旁边的图标
阅读全文