摘要:
【前言】Django的orm操作本质上会根据对接的数据库引擎,翻译成对应的sql语句;所有使用Django开发的项目无需关心程序底层使用的是MySQL、Oracle、sqlite....,如果数据库迁移,只需要更换Django的数据库引擎即可; Djan提供了很多字段类型,比如URL/Email/I 阅读全文
摘要:
【前言】中型的项目是比较多的APP,肯会涉及多数据表的操作。如果有人带那就最好了,自己要先了解基本的django框架(MTV ,ORM等)师傅可以给讲解一下框架怎么组织url.py,model.py,admin.py,view.py,.html顺序的,弄懂一个app。其他的也就触类旁通了。由于使用的 阅读全文
摘要:
一、cache 1、cache的定义。从宏观上讲,缓存是处理速度不匹配的问题。可以是静态缓存(内存缓存、磁盘缓存)、动态缓存(前端的缓存)和数据库缓存。另一个角度,从CPU来看,可以是寄存器和内存之间的缓存,可能会有几级缓存,比如三级缓存。 2、cache缓存算法。 cache缓存及其实现:http 阅读全文
摘要:
一、InnoDB页 InnoDB是一个将表中的数据存储到磁盘上的存储引擎,所以即使关机后重启我们的数据还是存在的。而真正处理数据的过程是发生在内存中的,所以需要把磁盘中的数据加载到内存中,如果是处理写入或修改请求的话,还需要把内存中的内容刷新到磁盘上。而我们知道读写磁盘的速度非常慢,和内存读写差了几 阅读全文
摘要:
【前言】最近看到django的缓存,因为动态页面对缓存还是有比较大的需求的,我们默认的是在setting中设置使用内存作为缓存。只要不频繁并发的查询,部署到服务器上也不会占用太大的缓存。有人在git上开源用redis做缓存,计算机技术真的是有趣而博大精深。下面转一篇当下大的公司使用缓存情景的介绍。 阅读全文
摘要:
【前言】以前学过mongodb,几天的学习,也算入了MySQL的门。参考下面一个网站,慢慢的系统学习一下。一个系统的网站(点我) 一、基础介绍 1、数据库——表——列(及其指定的数据类型)。 2、行,表中的数据是按行存储的,保存的每个记录存储在自己的行内。 3、主键(primary key):一列或 阅读全文
摘要:
【前言】前面(一)学习了web的基础知识,介绍到了MVC,项目使用一个Django框架。 Django book:https://code.ziqiangxuetang.com/django/django-tutorial.html 1. web框架介绍 具体介绍Django之前,必须先介绍WEB框 阅读全文
摘要:
瞎JB搞】感觉自己全栈了,又要把数据库里面的内容,以web形式展示出来,并支持数据操作。占了好多坑。。。。。慢慢填(主要参考廖雪峰的官网,不懂的再百度) 一、web概念 Client/Server模式简称CS架构,就是本地需要下载一个客户端的。随着互联网的兴起CS架构不适合Web,最大的原因是Web 阅读全文
摘要:
【前言】介绍一下项目模拟登陆和session以及csrf解决方案 一、验证码模拟登陆 1、前两天实现的基于webdriver的,弹出登录界面,截取验证码的方案被否决,因为服务器是没有图形界面的。所以,还是得从模拟登陆界面保持的角度去解决这个问题。期货中心的网站防爬性是非常高的。需要注入token;最 阅读全文
摘要:
【前言】这几天一直看python爬虫登录保持。实现接口太多,太乱,新手难免云山雾罩。各种get、post,深入理解一下,其实就是由于http的特性需要这些操作。http是一种无状态、不保存上次通信结果的一种网络传输协议,虽然基于tcp但是不是连接的。 本文先从原理角度介绍http各种特性,然后基于p 阅读全文
摘要:
参考:https://my.oschina.net/xianggao/blog/395675?fromerr=GC9KVenE 【前言】登录时需要post的表单信息。 先跳过具体案例,讲解基础知识: 会话(Session)跟踪是Web程序中常用的技术,用来跟踪用户的整个会话。常用的会话跟踪技术是Co 阅读全文
摘要:
【前言】在写爬虫时,正则表达式有时候比较难写,一个是自己不熟练,二者数据分析提取数据千奇百怪。 一、好在python有个re模块,提供了很多更加简便的方法;可参考此文档:https://www.cnblogs.com/tina-python/p/5508402.html 二、但有时候,不能实现过滤抽 阅读全文
摘要:
【前言】几天研究验证码解决方案有三种吧。第一、手工输入,即保存图片后然后我们手工输入;第二、使用cookie,必须输入密码一次,获取cookie;第三、图像处理+深度学习方案,研究生也做相关课题,就用了这种。 一、处理思路 1、图像处理,针对我要识别的期货中心的验证码,有我针对性的处理。目标是得到去 阅读全文
摘要:
一、解决方案: 1、http://www.ddooo.com/softdown/94968.htm 打开下载的压缩包,找到“tesseract-ocr-setup-3.02.02.exe”,双击运行; 2、python报错的地方,有pytesseract.py的连接,点开,修改pytesseract 阅读全文
摘要:
【前言】基于solarflare的onload模式加速,官方文档给出TCPDirect模式可以实现从300ns到30ns的延迟缩减。我们需要测试在我们的交易模型框架中他的延时,有人给出了tcpdirect加速大约会比onload模式快300ns左右,不是倍数关系,是一个数量差。虽未达如此高速交易,但 阅读全文