夏日的向日葵

摘要： 1、max()函数，对于某一个认为是数值型但实际是字符型字段取最大值，采用max函数，发现结果一直有错，如9>13. 解决方法：在max括号里面加一个0，把这个字段转化为数值型再进行比较，select max(a+0) 2、时间处理，日期取年月日，时间戳取日期，日期格式转化等等需求，经常会出现各种问 阅读全文

摘要： 数据分析的过程中，有时会遇到数据指标异常情况，我们分析数据异常的原因常常会感到无从下手，下面小编就将常见的原因大概列出来。 数据异常排查 最大概率法则原因归类： 1、假期效应：开学季、暑假、四大节、当地节日 2、热点事件：常规热点（世界杯）、突发热点（爆款IP） 3、活动影响：双十一、618，公司层 阅读全文

摘要： spark-submit为各种集群管理器提供了统一的工具来提交作业。如果在调用spark-submit时除了脚本或jar包的名字之外没有别的参数，那么这个spark程序只会在本地运行。当我们希望将应用提交到spark集群的时候，就需要设置以下参数： --master：表示要连接的集群管理器。 spa 阅读全文

摘要： 现如今各种APP、微信订阅号、微博、购物网站等网站都允许用户发表一些个人看法、意见、态度、评价、立场等信息。针对这些数据，我们可以利用情感分析技术对其进行分析，总结出大量的有价值信息。例如对商品评论的分析，可以了解用户对商品的满意度，进而改进产品；通过对一个人分布内容的分析，了解他的情绪变化，哪种情 阅读全文

摘要： 在我们生活的世界中，每一个人以及每一个事物相互之间都存在着关系，有直接关系，也有间接关系，最终会形成一个无形的大的关系网。network模块是一个用python语言开发的图论和复杂网络建模工具，模块内置了常用的图与复杂网络分析算法。network模块有四种图：Graph、DiGraph、MultiG 阅读全文

摘要： 为防止大家被骗，保住口袋里的银子，小编特总结（从互联网大神那复制）了几项诈骗知识，供大家参考。 情况一、薅羊毛党背后的黑产链条 案例1.6月10日，江苏南京警方披露，自2015年至今，嫌疑人李某用自己和他人的20多个身份信息购买了近900次航班的延误险，获得了近300万元的保险理赔款。但李某并非真正 阅读全文

摘要： 首先看数据源： 1、根据已给出的数据，将户型和建筑面积作为参考数据进行房价的预测，首先对户型和房价数据进行处理，再分析预测。 # 导入数据统计模块 import pandas # 导入回归函数 from sklearn.svm import LinearSVR # 读取csv数据文件 data = 阅读全文

摘要： 1、abs()函数--取绝对值 功能：abs()函数返回数字的绝对值 语法：abs(x) 参数说明：x为数值表达式 tupleAbs = [12.45,0,-19.69] for num in tupleAbs: print(abs(num)) 结果： 12.45 0 19.69 2、divmod( 阅读全文

摘要： 聚类是一种无监督学习，它将相似的对象归到同一个簇中。聚类和分类的最大不同在于，分类的目标事先已知，而聚类的结果类别没有预先定义，聚类和分类的结果相同。 在无监督学习中，训练样本的标记信息是未知的，目标是通过对无标记的训练样本的学习来揭示数据的内在性质和规律，如数据的聚类特征。聚类试图将数据集中的样本 阅读全文

摘要： Spark对数据的核心抽象——弹性分布式数据集（Resilient Distributed Dataset），简称RDD。RDD其实就是分布式的元素集合。在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值。而在这背后，Spark会自动将RDD中的数据分发到集群 阅读全文