摘要：
一.简介 RSA加密算法是一种非对称加密算法。在公开密钥加密和电子商业中RSA被广泛使用。 RSA公开密钥密码体制。所谓公开密钥密码体制就是使用不同的加密密钥与解密密钥，是一种“由已知加密密钥推导出解密密钥在计算上是不可行的”密码体制。 在公开密钥密码体制中，加密密钥（即公开密钥）PK是公开信息，而 阅读全文
摘要：
一.核心思想 把HQL当做MapReduce程序去优化。 注意，以下SQL不会转为MapReduce执行： 1.select仅查询本表字段。 2.where仅对本表字段做条件过滤。 二.启动Hive 备注：Hive依赖Zookeeper和HDFS，因此需要先开启！ 三.Explain Explain 阅读全文
摘要：
一.简介 1.RF-IDF【term frequency-inverse document frequency】是一种用于检索与探究的常用加权技术。 2.TF-IDF是一种统计方法，用于评估一个词对于一个文件集或一个语料库中的其中一个文件的重要程度。 3.词的重要性随着它在文件中出现的次数的增加而增 阅读全文
摘要：
一.无功功率负荷和无功功率损耗 1.一般系统负荷的功率因数约为0.6~0.9，当系统频率一定时，负荷功率【包括有功和无功功率】随电压而变化的关系称为负荷的静态电压特性。 2.电力线路的无功功率损耗也可以分为两部分，即并联电纳中的无功功率损耗和串联电抗中的无功功率损耗。 3.电力系统的无功功率电源，除 阅读全文
摘要：
一.简介 PageRank是Google提出的算法，用于衡量特定网页相对于其它网页而言的重要程度。是Google创始人拉里.佩奇和谢尔盖.布林于1997年创造的，用于实现将链接价值概念作为排名的重要因素。 二.算法原理 1.入链 PageRank让链接来投票，到一个页面的超链接相当于对该网页投一票。 阅读全文
摘要：
一.代码实现 二.结果 阅读全文
摘要：
一.MapReduce1.x简介 1.图解 2.JobTracker 主节点，单点，负责调度所有的作用和监控整个集群的资源负载。 3.TaskTracker 从节点，自身节点资源管理和JobTracker进行心跳联系，汇报资源和获取task。 4.Client 以作业为单位，规划作业计算分布，提交作 阅读全文
摘要：
一.异常情况及解决方案 在使用Spark SQL的dataframe数据写入到相应的MySQL表中时，报错，错误信息如下： 代码的基本形式为: df.write.jdbc(url, result_table, prop) 根据图片中的报错，搜索资料，得知是由于Spark SQL 中的Save Mod 阅读全文
摘要：
一.简介 word2vec是Google在2003年开源的一款将词表征为实数值向量的高效算法，采用的模型有CBOW【Continuous Bag-Of-Words 连续的词袋模型】和Skip-Gram两种。 word2vec通过训练，可以把文本内容的处理简化为k维向量空间中的向量运算，二向量空间上的 阅读全文
摘要：
一.Hadoop2.x产生背景 1.Hadoop1.x中的HDFS和MapReduce在高可用、扩展性等方面存在问题。 2.HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 3.MapReduce存在的问题 1.JobTr 阅读全文
摘要：
一.电力系统频率调整 频率和电压都是衡量电能质量的重要指标，但系统中对频率恒定的要求比对电压恒定的要求要更为严格。因为系统中的电压等级较多，电压可以分散调整，且调压的方法较多。二系统的频率调整涉及全电力系统的电源和负荷，调频只能集中在多个发电厂进行。 电力系统的频率是由发电机转速决定的，而发电机转速 阅读全文
摘要：
1.配置eclipse本地Maven 点击Window-->Perference 选择Maven-->Installations 点击Add添加本地Maven 然后勾选本地Maven，启用 点击User Settings设置 本地仓库 设置 2.创建Maven项目 右键选择 选择Maven Proj 阅读全文
摘要：
1.图解 2.过程 1.使用Kafka的High Level Consumer API 实现，消费者不能自己去维护消费者offset，而且kafka也不关心数据是否丢失。 2.当向zookeeper中更新完offset后，Driver如果挂到，Driver下的Executors会被kill掉，会造成 阅读全文
摘要：
1.namenode启动的时候，首先将映像文件【fsimage】载入内存，并执行编辑日志【edits】中的各项操作。 2.一旦在内存中成功建立文件系统元数据的映射，则创建一个新的fsimage文件【这个操作不需要SecondaryNameNode】和一个空的编辑日志。 3.此刻namenode运行在 阅读全文
摘要：
1.下载python3.5.2版本并安装（必须是3.5版本，而且3.5后不带字母的版本） 2.使用下面的地址下载tensorflow的GPU版本 http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy 3.以及tensorflow的依赖protubuf，还有 阅读全文
摘要：
1.下载Maven包 前往官网下载你需要的版本http://maven.apache.org/download.cgi 2.解压配置环境变量 在path中添加： 3.验证 使用快捷键电脑图标+R，弹出输入cmd，按enter执行，在命令行上输入mvn -v 4.快速入门 1.创建相关目录及创建pom 阅读全文
摘要：
1.运用计算机计算时，一般要完成一下几个步骤： 1.1建立数学模型 1.2确定解算方法 1.3制定程序框图 1.4编制程序 1.5上机调试及运算 2.潮流计算的数学模型 数学模型是指反映电力系统中运行状态参数【如电压、电力、功率等】与网络参数之前的关系，反映网络性能的数学方程式。 3.牛顿-拉夫逊法 阅读全文
摘要：
1.上传&解压 2.设置环境变量 3.启用&检验 4.编辑hbase-env.sh 备注：分别指定JDK、HBase、Hadoop的路径！ 5.编辑hbase-site.xml 6.启动hbase 1.启动Hadoop 2.启动HBase 3.验证 备注：启动之前需先启动Hadoop！ 7.查看We 阅读全文
摘要：
1.简介 分桶表是对列值取哈希值的方式将不同数据放到不同文件中进行存储。对于hive中每一个表，分区都可以进一步进行分桶。由列的哈希值除以桶的个数来决定数据划分到哪个桶里。 2.适用场景 1.数据抽样【sampling】 2.map-join 3.开启支持分桶 配置;set hive.enforce 阅读全文