09 2017 档案

代码发布系统实现
摘要:<!--done--> 文章目录 [隐藏] 关于项目开源 日常运维问题 尝试解决问题 最终解决方案 开源技术使用 代码发布流程 最后想说的话 关于项目开源 由于挺多同学请求开源此项目,在这里说明一下:其实本人是想开源的,由于是本人写的第一个运维方面的系统,且写这个项目的时间时间紧,只达到了可以使用的 阅读全文

posted @ 2017-09-30 21:16 bigdata_devops 阅读(4449) 评论(0) 推荐(0) 编辑

设计模式(二)
摘要:a. 面向对象 面向对象的三大特性 - 封装 1. 把数据和函数包装在类里 2. 类的边界限制了一些外界的访问 - 继承 - 多态 接口 - 一种特殊的类,声明了若干方法,要求继承该接口的类必须实现这些方法。 - 接口就是一种抽象的基类(父类),限制继承它的类必须实现接口中定义的某些方法。 - 作用 阅读全文

posted @ 2017-09-26 22:26 bigdata_devops 阅读(190) 评论(0) 推荐(0) 编辑

redis集群搭建
摘要:redis 3.2.5的集群部署 目前redis支持的cluster特性(已亲测): 1):节点自动发现 2):slave->master 选举集群容错 3):Hot resharding在线分片 4):进群管理cluster xxx 5):基于配置(nodes-port.conf)的集群管理 6) 阅读全文

posted @ 2017-09-25 22:34 bigdata_devops 阅读(1243) 评论(0) 推荐(0) 编辑

django-request对象
摘要:HTTP 应用的信息是通过 请求报文 和 响应报文 传递的,关于更多的相关知识,可以阅读《HTTP权威指南》获得。 其中 请求报文 由客户端发送,其中包含和许多的信息,而 django 将这些信息封装成了 HttpRequest 对象,该对象由 HttpRequest 类创建。每一个请求都会生成一个 阅读全文

posted @ 2017-09-21 23:44 bigdata_devops 阅读(169) 评论(0) 推荐(0) 编辑

设计模式(一)
摘要:参考博客:常用设计模式学习 《大话设计模式》Python版代码实现 二十三种设计模式及其python实现 一、设计模式介绍 设计模式(Design Patterns) ——可复用面向对象软件的基础 设计模式(Design pattern)是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的 阅读全文

posted @ 2017-09-20 09:43 bigdata_devops 阅读(297) 评论(0) 推荐(0) 编辑

Flask框架
摘要:Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架,对于Werkzeug本质是Socket服务端,其用于接收http请求并对请求进行预处理,然后触发Flask框架,开发人员基于Flask框架提供的功能对请求进行相应的处理,并返回给用户,如果要返 阅读全文

posted @ 2017-09-19 22:04 bigdata_devops 阅读(261) 评论(0) 推荐(0) 编辑

Tyrion中文文档(含示例源码)
摘要:Tyrion是一个基于Python实现的支持多个WEB框架的Form表单验证组件,其完美的支持Tornado、Django、Flask、Bottle Web框架。Tyrion主要有两大重要动能: 表单验证 生成HTML标签 保留上次提交内容 对于表单验证,告别书写重复的正则表达式对用户提交的数据进行 阅读全文

posted @ 2017-09-14 01:48 bigdata_devops 阅读(252) 评论(0) 推荐(0) 编辑

200行自定义异步非阻塞Web框架
摘要:Python的Web框架中Tornado以异步非阻塞而闻名。本篇将使用200行代码完成一个微型异步非阻塞Web框架:Snow。 一、源码 本文基于非阻塞的Socket以及IO多路复用从而实现异步非阻塞的Web框架,其中便是众多异步非阻塞Web框架内部原理。 #!/usr/bin/env python 阅读全文

posted @ 2017-09-14 01:46 bigdata_devops 阅读(131) 评论(0) 推荐(0) 编辑

你真的了解WebSocket吗?
摘要:WebSocket协议是基于TCP的一种新的协议。WebSocket最初在HTML5规范中被引用为TCP连接,作为基于TCP的套接字API的占位符。它实现了浏览器与服务器全双工(full-duplex)通信。其本质是保持TCP连接,在浏览器和服务端通过Socket进行通信。 本文将使用Python编 阅读全文

posted @ 2017-09-14 01:44 bigdata_devops 阅读(262) 评论(0) 推荐(0) 编辑

python Django学生管理
摘要:Django 学生管理系统 1. 一对一 班级 模态增加 编辑 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <style> .hide{ display: none; } .s 阅读全文

posted @ 2017-09-12 01:41 bigdata_devops 阅读(296) 评论(0) 推荐(0) 编辑

用户角色权限 案例
摘要:#权限管理:rbac:role basic access control # 一 根据用户获取权限, session中 中间件实现权限控制 # 二 菜单管理 #默认展开 #只显示当前用户菜单 一、权限用户表 a:SQL表结构 from django.db import models # Create 阅读全文

posted @ 2017-09-12 01:36 bigdata_devops 阅读(201) 评论(0) 推荐(0) 编辑

Python的单例模式
摘要:一、何为单例模式 单例模式:保证一个类仅有一个实例,并提供一个访问他的全局访问点。 实现某个类只有一个实例的途径: 1、让一个全局变量使得一个对象被访问,但是他不能防止外部实例化多个对象。 2、让类自身保存他的唯一实例,这个类可以保证没有其他实例可以被创建。 多线程时的单例模式:加锁-双重锁定 饿汉 阅读全文

posted @ 2017-09-12 01:31 bigdata_devops 阅读(125) 评论(0) 推荐(0) 编辑

Django之ModelForm组件
摘要:ModelForm a. class Meta: model, # 对应Model的 fields=None, # 字段 exclude=None, # 排除字段 ... 阅读全文

posted @ 2017-09-12 00:47 bigdata_devops 阅读(138) 评论(0) 推荐(0) 编辑

第五篇:白话tornado源码之褪去模板的外衣
摘要:上一篇《白话tornado源码之请求来了》介绍了客户端请求在tornado框架中的生命周期,其本质就是利用epoll和socket来获取并处理请求。在上一篇的内容中,我们只是给客户端返回了简单的字符串,如:“Hello World”,而在实际开发中,需要使用html文件的内容作为模板,然后将被处理后 阅读全文

posted @ 2017-09-12 00:46 bigdata_devops 阅读(182) 评论(0) 推荐(0) 编辑

第四篇:白话tornado源码之褪去模板外衣的前戏
摘要:加班程序员最辛苦,来张图醒醒脑吧! ... ... ... 好了,醒醒吧,回归现实看代码了!! 执行字符串表示的函数,并为该函数提供全局变量 本篇的内容从题目中就可以看出来,就是为之后剖析tornado模板做准备,也是由于该知识点使用的巧妙,所有就单独用一篇来介绍了。废话不多说,直接上代码: #!u 阅读全文

posted @ 2017-09-12 00:45 bigdata_devops 阅读(145) 评论(0) 推荐(0) 编辑

第三篇:白话tornado源码之请求来了
摘要:上一篇《白话tornado源码之待请求阶段》中介绍了tornado框架在客户端请求之前所做的准备(下图1、2部分),本质上就是创建了一个socket服务端,并进行了IP和端口的绑定,但是未执行 socket的accept方法,也就是未获取客户端请求信息。 概述 本篇就来详细介绍tornado服务器( 阅读全文

posted @ 2017-09-12 00:43 bigdata_devops 阅读(164) 评论(0) 推荐(0) 编辑

第二篇:白话tornado源码之待请求阶段
摘要:上篇《白话tornado源码之一个脚本引发的血案》用上帝视角多整个框架做了一个概述,同时也看清了web框架的的本质,下面我们从tornado程序的起始来分析其源码。 概述 上图是tornado程序启动以及接收到客户端请求后的整个过程,对于整个过程可以分为两大部分: 启动程序阶段,又称为待请求阶段(上 阅读全文

posted @ 2017-09-12 00:42 bigdata_devops 阅读(196) 评论(0) 推荐(0) 编辑

第一篇:白话tornado源码之一个脚本引发的血案
摘要:本系列博文计划: 1、剖析基于Python的Web框架Tornado的源码 2、为Python开发一个完善的MVC框架 首先将带着大家一起来剖析基于python编写的Web框架 tornado ,本着易读易懂的目标来写这一系列,寄希让小白也能zeng明白其中的道理,与其说剖析还不如说是白话,因为本系 阅读全文

posted @ 2017-09-12 00:40 bigdata_devops 阅读(220) 评论(0) 推荐(0) 编辑

MySQL20个经典面试题
摘要:MySQL20个经典面试题 Part2:经典题目 1、MySQL的复制原理以及流程 基本原理流程,3个线程以及之间的关联; 2、MySQL中myisam与innodb的区别,至少5点 (1)、问5点不同; (2)、innodb引擎的4大特性 (3)、2者selectcount(*)哪个更快,为什么 阅读全文

posted @ 2017-09-08 01:05 bigdata_devops 阅读(3097) 评论(0) 推荐(0) 编辑

tornado源码分析系列一
摘要:先来看一个简单的示例: 上述分析: 1、浏览器其实就是一个socket客户端,而web应用其实就是一个socket服务端,并且web应用在服务器上一直在监听某个端口。 2、当浏览器请求某个web应用时,需要指定服务器的IP(DNS解析)和端口建立一个socket连接。 3、建立链接后,web应用根据 阅读全文

posted @ 2017-09-07 01:28 bigdata_devops 阅读(204) 评论(0) 推荐(0) 编辑

Django内置Admin
摘要:Django内置的Admin是对于model中对应的数据表进行增删改查提供的组件,使用方式有: 依赖APP: django.contrib.auth django.contrib.contenttypes django.contrib.messages django.contrib.sessions 阅读全文

posted @ 2017-09-06 13:32 bigdata_devops 阅读(167) 评论(0) 推荐(0) 编辑

redis面试总结
摘要:http://blog.csdn.net/guchuanyun111/article/category/6335900 (1)什么是redis? Redis 是一个基于内存的高性能key-value数据库。 (有空再补充,有理解错误或不足欢迎指正) (2)Reids的特点 Redis本质上是一个Ke 阅读全文

posted @ 2017-09-05 19:34 bigdata_devops 阅读(250) 评论(0) 推荐(0) 编辑

scrapy-redis使用以及剖析
摘要:scrapy-redis是一个基于redis的scrapy组件,通过它可以快速实现简单分布式爬虫程序,该组件本质上提供了三大功能: scheduler - 调度器 dupefilter - URL去重规则(被调度器使用) pipeline - 数据持久化 scrapy-redis组件 1. URL去 阅读全文

posted @ 2017-09-05 16:31 bigdata_devops 阅读(273) 评论(0) 推荐(0) 编辑

python爬虫之性能相关
摘要:性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 import requests def fetch_async(url): response = requests.get(url) return response url_l 阅读全文

posted @ 2017-09-03 22:54 bigdata_devops 阅读(175) 评论(0) 推荐(0) 编辑

python爬虫基础
摘要:Q2Day79 requests Python标准库中提供了:urllib、urllib2、httplib等模块以供Http请求,但是,它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务。 Requests 是使用 Apache2 阅读全文

posted @ 2017-09-03 22:50 bigdata_devops 阅读(229) 评论(0) 推荐(0) 编辑

python爬虫之requests模块
摘要:一. 登录事例 a. 查找汽车之家新闻 标题 链接 图片写入本地 import requests from bs4 import BeautifulSoup import uuid response = requests.get( 'http://www.autohome.com.cn/news/' 阅读全文

posted @ 2017-09-01 00:16 bigdata_devops 阅读(216) 评论(0) 推荐(0) 编辑

导航