摘要：
list，dict：用来序列化你爬的东西 切片：用来对爬取的内容进行分割，生成 条件判断（if等）：用来解决爬虫过程中哪些要哪些不要的问题 循环和迭代（for while ）：用来循环，重复爬虫动作 文件读写操作（open，close等）：用来读取参数、保存爬下来的内容等 list，dict：用来序 阅读全文
摘要：
Web应用开发可以说是目前软件开发中最重要的部分。Web开发也经历了好几个阶段： 静态Web页面：由文本编辑器直接编辑并生成静态的HTML页面，如果要修改Web页面的内容，就需要再次编辑HTML源文件，早期的互联网Web页面就是静态的； CGI：由于静态Web页面无法与用户交互，比如用户填写了一个注 阅读全文
摘要：
大O表示法：称一个函数g(n)是O(f(n))，当且仅当存在常数c>0和n0>=1，对一切n>n0均有|g(n)|<=c|f(n)|成立，也称函数g(n)以f(n)为界或者称g(n)受限于f(n)。记作g(n)=O(f(n))。 定义：如果一个问题的规模是n，解这一问题的某一算法所需要的时间为T(n 阅读全文
摘要：
动态链接库（Dynamic Link Library 或者 Dynamic-link Library，缩写为 DLL），是微软公司在微软Windows操作系统中，实现共享函数库概念的一种方式。这些库函数的扩展名是 ”.dll"、".ocx"（包含ActiveX控制的库）或者 ".drv"（旧式的系统 阅读全文
摘要：
单表最大的也在25万左右，历史数据表因为不涉及所以不用考虑， 难点在于这个规模的热点数据，变化非常频繁。 数据来源于一些检测设备的采集数据，一些大表，有可能在极短时间内（如几秒钟）可能大部分都会变化， 而且主程序也有一些后台服务需要不断轮询、读写某种类型的设备，所以要求信息交互时间尽可能短。 2、之 阅读全文
摘要：
对于单一客户端对服务器进行http请求，一般我们的方式 1：单进程或线程轮询请求（这个效能自然很低，原因会讲到，也不用测试） 2：多条线程提前准备数据等待信号（对客户端性能要求较高） 3：提前准备一组线程同时轮询操作 4：使用系统/平台自带异步发送机制（实际就是平台线程池的方式，发送与接收使用从线程 阅读全文
摘要：
限管理，一般指根据系统设置的安全规则或者安全策略，用户可以访问而且只能访问自己被授权的资源，不多不少。权限管理几乎出现在任何系统里面，只要有用户和密码的系统。 很多人常将“用户身份认证”、“密码加密”、“系统管理”等概念与权限管理概念混淆。 从控制力度来看，可以将权限管理分为两大类： 1，功能级权限 阅读全文
摘要：
计算机系统是由硬件和系统软件组成，他们共同工作来运行应用程序。我们通常接触更多的是应用程序级别的，很少关注系统以及系统和硬件的交互，但是如果自己能完全理解计算机系统以及它对应用程序的影响，那将会让我们在软件开发的路上走的更远，也同时可以避免很多问题的发生。 计算机来说其实就是由0和1组成的位（比特） 阅读全文