09 2020 档案
摘要：数据分析 什么是数据分析？ 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 数据分析经典案例 （一）啤酒与尿布 沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤
阅读全文
摘要：今天项目部署测试：手动导入太麻烦写了个自动化导入如例(补充前文)： import pip from subprocess import call f= open("boke.txt") for dist in f.readlines(): #print(dist,end="") call("pip
阅读全文
摘要：数据结构与算法 算法概述 算法-前序 x 1 【1】Everybody!全场动作必须跟我整齐划一，来，我们一起来做一道题 2 若n1+n2+n3=1000,且n1^2+n2^2=n3^2(n1,n2,n3为自然数),求出所有n1、n2、n3可能的组合 3 4 【2】解题思路 5 n1 = 0
阅读全文
摘要：django-Xadmin替换admin 1、下载： 下载地址：https://github.com/sshwsfc/xadmin/tree/django2 2、安装 用pip 安装下载的包 sudo pip3 install xadmin~=2.0 或打开项目路径(如图：forum项目路径)： 3
阅读全文
摘要：1. 大数据简介 1.1 大数据的由来 1 随着计算机技术的发展，互联网的普及，信息的积累已经到了一个非常庞大的地步，信息的增长也在不断的加快，随着互联网、物联网建设的加快，信息更是爆炸式增长，收集、检索、统计这些信息越发困难，必须使用新的技术来解决这些问题 1.2 什么是大数据 xxxxxxxxx
阅读全文
摘要：实现分布式爬虫：1、原理：多台主机共享一个爬取队列2、实现：利用redis中集合，重写scrapy的调度器，使用scrapy_redis模块实现3、为什么使用redis 3.1》redis基于内存，快 3.2》redis中有集合数据类型，可以自动去重，存储每个请求的指纹4、最终如何实现 4.1》先写
阅读全文
摘要：1. 安装JDK 1.1 JDK安装步骤 下载JDK安装包（下载Linux系统的 .tar.gz 的安装包） https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 更新Ubuntu源 sudo apt-g
阅读全文
摘要：远程连接Redis配置流程 配置流程 xxxxxxxxxx 10 1 【1】修改配置文件 2 sudo gedit /etc/redis/redis.conf 3 修改如下2个内容后保存退出: 4 # bind 127.0.0.1 ::1 把此行注释掉 5 protected-mode no 把默认
阅读全文
摘要：回顾 scrapy框架 五大组件+工作流程+常用命令 x 1 【1】五大组件 2 1.1) 引擎（Engine） 3 1.2) 爬虫程序（Spider） 4 1.3) 调度器（Scheduler） 5 1.4) 下载器（Downloader） 6 1.5) 管道文件（Pipeline） 7 1.6)
阅读全文
摘要：scrapy框架 Scrapy框架五大组件 xxxxxxxxxx 12 1 【1】引擎（Engine） 整个框架核心 2 【2】爬虫程序（Spider） 数据解析提取 3 【3】调度器（Scheduler） 维护请求队列 4 【4】下载器（Downloader） 获取响应对象 5 【5】管道文件（P
阅读全文
摘要：导出 在项目中执行 pip freeze > requirements.txt absl-py==0.8.1 amqp==2.5.1 apturl==0.5.2 asn1crypto==0.24.0 astor==0.8.0 attrs==19.3.0 Automat==0.8.0 beautifu
阅读全文