摘要：
基础知识 爬虫发展史 爬虫去重 1. 存储到数据库中 存取速度慢 2. 存储到内存中的集合里，内存占用十分大 当爬取数据有1亿条时 1*10**8*2Byte*50str_len/1024/1024/1024 = 9 结果显示仅仅爬取1亿条url数据就占用了9个G的内存，显然是不合适的 3. 将ur 阅读全文
摘要：
常见编码格式 ASCII编码 一个字节可以表示所有字符，原始的ASCII标准定义了从0到127 的字符，这样正好能用七个比特表示 GB2312 ASCII不能表示所有的中文，所以中国制定GB2312编码，用两个字节表示一个汉字。 GB2312包含ASCII编码 unicode 统一采用两个字节编码， 阅读全文
摘要：
Window 下创建python的虚拟环境 下载工具 pip install virtualenv 创建虚拟环境目录 # 注意此命令创建的虚拟环境目录是在当前目录下 virtualenv testenv 使用虚拟环境 cd testenv/Scripts activate 退出虚拟环境 deacti 阅读全文
摘要：
软件模拟网络设备 交换机 路由器 防火墙 负载均衡器 ... Linux内核加载8021q协议 vlan配置工具 安装 使用 Use Linux Network Namespace 网络命名空间隔离，使得各个命名空间的网络，互相不可见 一个网络名称空间可以看做是一个路由器，既分割网络，也能分割命令作 阅读全文
摘要：
libvirt工具栈详解 支持的虚拟化技术 KVM Xen LXC VMware Qemu OpenVZ libvirt组件 常用libvirt工具 libvirt工具安装 启动libvirtd服务 libvirt和libvirtd配置文件 virt-install 简介 它是一个命令行管理工具，它 阅读全文
摘要：
KVM虚拟化基础 虚拟化技术两种实现 Type-I hypervisor > vm Xen、RHEV、ESXi Type-II host vmm > vms KVM、VMware Workstation、Virtual Box 依赖底层操作系统 Kernel-based Virtual Machin 阅读全文
摘要：
Xen虚拟化基础 Xen虚拟化类型 hypervisor Xen组件 Xen的PV技术 Xen的HVM技术 Xen的PV on HVM技术 XenStore 为各Domain提供的共享信息存储空间 层级结构的名称空间 位于DOM0中 CentOS对Xen的支持 RHEL 5.7- 默认的虚拟化技术为 阅读全文
摘要：
官方文档学习 https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/pdf/Virtualization_Getting_Started_Guide/Red_Hat_Enterprise_Linux-7-Vi 阅读全文
摘要：
缓存基础原理 程序具有局部性 时间局部性 空间局部性 key-value 形式存储数据 key 访问路径、URL、hash value web content 命中率 hit/(hit+miss) 文档命中率 从文档个数进行衡量 字节命中率 内容大小进行衡量 缓存对象 定期清理缓存 可缓存对象，缓存 阅读全文
摘要：
vsftpd 主动模式 由服务器创建连接 命令 Client <PORT> > Server 21/tcp 数据 Server 20/tcp > Client <PORT> + 1 被动模式 由客户端发起连接 命令 Client <PORT> > Server 21/tcp 数据 Client <P 阅读全文