摘要： 使用pyinstaller 打包.py文件 pyinstaller -F summary.py 生成exe报错 这个问题出现的原因是，有些模块是隐藏导入的，但是pyinstaller打包时并未指定，所以执行时找不到此模块 解决方法是 在打包语句后加上 循环多次后，最终语句变成 # -*- mode: 阅读全文

摘要： 方法名 函数功能 sum() 列的和 main() 算数平均数 var() 方差 std() 标准差 corr() 皮尔逊相关系数 cov() 协方差矩阵 skew() 三阶矩 偏度 kurt() 四阶矩 峰度 describe() 基本描述 协方差就是这样一种用来度量两个随机变量关系的统计量，协方 阅读全文

摘要： 要求根据数据库中历史招投标数据作潜在投标人预测 数据库数据类似于 投标（商品）--供应商名称（用户） 根据数据特性选择基于物品的协同过滤算法itemCF itemCF算法核心只有两个步骤： 1、使用公式求出两件商品之间的相似度：商品A,B相似度=同时关注A和B的人数/根号下关注A的人数*关注B的人数 阅读全文

摘要： 并行计算框架(MapReduce)： 适用于大数据量处理的分布式框架，是为离线数据分析而设计，利用数据的并行性进行分布运算，而后汇总结果的计算框架。 将任务拆分、分布、汇总，开发人员只需要实现业务逻辑；分布任务自动失败重试，单个任务失败不会造成整个任务退出；和HDFS整合，使计算移到数据所在的节点运 阅读全文

摘要： NameNode Namenode 上保存着 HDFS 的名字空间。对于任何对文件系统元数据产生修改的操作， Namenode 都会使用一种称为 EditLog 的事务日志记录下来。例如，在 HDFS 中创建一个文件， Namenode 就会在 Editlog 中插入一条记录来表示；同样地，修改文件 阅读全文

摘要： #coding=utf-8 import cx_Oracle #引用模块cx_Oracle import os os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'#编码问题 conn=cx_Oracle.connect('Xho', 'sys', 'localh... 阅读全文

摘要： 一、熵权法介绍 熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。 熵权法的基本思路是根据指标变异性的大小来确定客观权重。 一般来说，若某个指标的信息熵越小，表明指标值得变异程度越大，提供的信息量越多，在综合评价中所能起到的作用也越大，其权重也就越大。相反，某个指标的信 阅读全文

摘要： 使用Netcat（在大多数类Unix系统中找到的小实用程序）作为数据服务器运行 阅读全文

摘要： Spark Streaming是核心Spark API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。数据可以从许多来源（如Kafka，Flume，Kinesis或TCP套接字）中获取，并且可以使用以高级函数表示的复杂算法进行处理map，例如reduce，join和window。最后，处理后 阅读全文

摘要： package stuSpark.com; import java.io.IOException; import java.util.ArrayList; import java.util.Arrays; import java.util.HashMap; import java.util.List; import java.util.Map; import org.apache.spark... 阅读全文