摘要:
先说一下我运到的坑:工作环境win64,数据存在Oracle数据库中,并不清楚instantclient是多少位。cx_Oracle 64,导致数据库连接不上报错,需要重新下载/安装等。下面简单总结一下我的环境部署。我之前连接过oracle18.5,现在客户是oracle11.2,需要重新安装配置。 阅读全文
摘要:
一些经典的Python爬虫和网络编程面试题,非常实用的,给大家介绍一下! 1、动态加载又对及时性要求很高怎么处理? Selenium+Phantomjs 尽量不使用 sleep 而使用 WebDriverWait 2、分布式爬虫主要解决什么问题? (1)ip (2)带宽 (3)cpu (4)io 3 阅读全文
摘要:
sys: 阅读全文
摘要:
【原理】import 导入模块,就是能够根据sys.path环境变量的值,找到具体模块的路径。 import上一级目录的模块 > python 执行py 文件的时候,默认就会把当前目录增加到sys.path中。sys.path[0]。 python中,import module会去sys.path搜 阅读全文
摘要:
原因是没有建立为scrapy命令建立软链接 首先找到python3的安装位置 我的是 /usr/local/python3/bin/scrapy之后建立软链接 ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy现在再使用scrapy命令就不会报错了 阅读全文
摘要:
【总结】 数据 举例 特点 优点 缺点 使用场景 结构化数据 Excel,mysql 二维形式的数据 方便查询和修改 不易扩展 字段特征较固定 半结构化数据 XML,JSON,html 包含元数据信息 扩展性很好 易于归档 非结构化数据 word,txt,img,video 不规范的数据 格式多样 阅读全文
摘要:
大数据技术栈,每天至少一集,坚持到底,欢迎监督! 李金涛 激情燃烧梦想,野心驰骋非凡! 2019.7.16 阅读全文
摘要:
十种常用的数据分析方法 十种常用的数据分析方法 大数据深度分析 道家强调四个字,叫“道、法、术、器”。 大数据深度分析 道家强调四个字,叫“道、法、术、器”。 大数据深度分析 道家强调四个字,叫“道、法、术、器”。 层次区别: “器”是指物品或工具,在数据分析领域指的就是数据分析的产品或工具,“工欲 阅读全文
摘要:
最常用的四种大数据分析方法 本文主要讲述数据挖掘分析领域中,最常用的四种数据分析方法:描述型分析、诊断型分析、预测型分析和指令型分析。 当刚涉足数据挖掘分析领域的分析师被问及,数据挖掘分析人员最重要的能力是什么时,他们给出了五花八门的答案。 其实我想告诉他们的是,数据挖掘分析领域最重要的能力是:能够 阅读全文
摘要:
【算法模型】轻松看懂机器学习十大常用算法 通过本篇文章大家可以对ML的常用算法形成常识性的认识。没有代码,没有复杂的理论推导,仅是图解,介绍这些算法是什么以及如何应用(例子主要是分类问题)。以后有机会再对单个算法做深入地解析。 【算法模型】轻松看懂机器学习十大常用算法 通过本篇文章大家可以对ML的常 阅读全文
摘要:
[模型优化]模型欠拟合及过拟合判断、优化方法 [模型优化]模型欠拟合及过拟合判断、优化方法 [模型优化]模型欠拟合及过拟合判断、优化方法 [模型优化]模型欠拟合及过拟合判断、优化方法 一、模型欠拟合及过拟合简介 模型应用时发现效果不理想,有多种优化方法,包含: 添加新特征 增加模型复杂度 减小正则项 阅读全文
摘要:
为什么要选择统计方法? 当我们面临一个实际统计预测或推断问题时,往往有许多方法可以选择,这时我们面临一个很关键的问题:选择哪种统计方法是最有效最经济的?为什么这么选择? 1. 补充一些基本概念 预测与推断的区别 :预测是在现有数据的基础上,预测可能的结果,对每个特征参数对结果的影响并不关心。推断关心 阅读全文
摘要:
ETL讲解(很详细!!!) ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下,在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接 阅读全文
摘要:
echarts各个配置项详细说明总结 阅读全文
摘要:
window对象有以下方法: open close alert confirm prompt setTimeout clearTimeout setInterval clearInterval moveBy moveTo resizeBy resizeTo scrollBy scrollTo fin 阅读全文