摘要：
今天项目部署测试：手动导入太麻烦写了个自动化导入如例(补充前文)： import pip from subprocess import call f= open("boke.txt") for dist in f.readlines(): #print(dist,end="") call("pip 阅读全文
摘要：
数据结构与算法 算法概述 算法-前序 x 1 【1】Everybody!全场动作必须跟我整齐划一，来，我们一起来做一道题 2 若n1+n2+n3=1000,且n1^2+n2^2=n3^2(n1,n2,n3为自然数),求出所有n1、n2、n3可能的组合 3 4 【2】解题思路 5 n1 = 0 阅读全文
摘要：
django-Xadmin替换admin 1、下载： 下载地址：https://github.com/sshwsfc/xadmin/tree/django2 2、安装 用pip 安装下载的包 sudo pip3 install xadmin~=2.0 或打开项目路径(如图：forum项目路径)： 3 阅读全文
摘要：
1. 大数据简介 1.1 大数据的由来 1 随着计算机技术的发展，互联网的普及，信息的积累已经到了一个非常庞大的地步，信息的增长也在不断的加快，随着互联网、物联网建设的加快，信息更是爆炸式增长，收集、检索、统计这些信息越发困难，必须使用新的技术来解决这些问题 1.2 什么是大数据 xxxxxxxxx 阅读全文
摘要：
实现分布式爬虫：1、原理：多台主机共享一个爬取队列2、实现：利用redis中集合，重写scrapy的调度器，使用scrapy_redis模块实现3、为什么使用redis 3.1》redis基于内存，快 3.2》redis中有集合数据类型，可以自动去重，存储每个请求的指纹4、最终如何实现 4.1》先写 阅读全文
摘要：
1. 安装JDK 1.1 JDK安装步骤 下载JDK安装包（下载Linux系统的 .tar.gz 的安装包） https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 更新Ubuntu源 sudo apt-g 阅读全文
摘要：
远程连接Redis配置流程 配置流程 xxxxxxxxxx 10 1 【1】修改配置文件 2 sudo gedit /etc/redis/redis.conf 3 修改如下2个内容后保存退出: 4 # bind 127.0.0.1 ::1 把此行注释掉 5 protected-mode no 把默认 阅读全文
摘要：
回顾 scrapy框架 五大组件+工作流程+常用命令 x 1 【1】五大组件 2 1.1) 引擎（Engine） 3 1.2) 爬虫程序（Spider） 4 1.3) 调度器（Scheduler） 5 1.4) 下载器（Downloader） 6 1.5) 管道文件（Pipeline） 7 1.6) 阅读全文
摘要：
scrapy框架 Scrapy框架五大组件 xxxxxxxxxx 12 1 【1】引擎（Engine） 整个框架核心 2 【2】爬虫程序（Spider） 数据解析提取 3 【3】调度器（Scheduler） 维护请求队列 4 【4】下载器（Downloader） 获取响应对象 5 【5】管道文件（P 阅读全文