摘要：
我们需要用到的包有：arules、arulesViz、chron、dplyr、ggplot2、gplots、reshape2、wordcloud2、plyr。 > library("arules", lib.loc="~/R/win-library/3.5") > library("arulesVi 阅读全文
摘要：
原文地址：http://supstat.com.cn/blog/2015/01/07/use-r-in-banking-industry/ 研究方法 搜集银行业上市公司的财务数据分析股票价格的财务影响因素，观测流动比率、净资产负债比率、资产固定资产比率、每股收益、净利润、增长率、股价和公布时间等数据 阅读全文
摘要：
文章目录 RNA-seq 数据分析流程 相关软件安装 下载数据 sra转fastq格式 数据质控 数据质控，过滤低质量reads，去接头 比对 首先下载参考基因组及注释文件，建立索引 比对 sam文件转bam 为bam文件建立索引 reads的比对情况统计 计数 counts 差异基因分析 RNA- 阅读全文
摘要：
基于Hive和Spark的淘宝双11数据分析与预测 1.系统和环境要求（版本仅供参考）： Linux: centos7 MySQL: 5.7.16 Hadoop: 2.7.1 Hive: 1.2.1 Sqoop: 1.4.6 Spark: 2.1.0 Eclipse: 3.8 ECharts: 3. 阅读全文
摘要：
以前总是分不清楚spark中flatmap和map的区别，现在弄明白了，总结分享给大家，先看看flatmap和map的定义。 map()是将函数用于RDD中的每个元素，将返回值构成新的RDD。 flatmap()是将函数应用于RDD中的每个元素，将返回的迭代器的所有内容构成新的RDD,这样就得到了一 阅读全文
摘要：
通过分析出租车数据，然后使用KMeans对经纬度进行聚类，然后按照（类别，时间）进行分类，再统计每个类别每个时段的次数。 数据地址 链接: https://pan.baidu.com/s/166dKRUpryHWZ2F8wLA3eyw 密码: g9dz 数据格式以及意义： 111,30.655325 阅读全文
摘要：
文章目录 用例1：数据清洗 用例2：用户留存分析 用例3：活跃用户分析 用例4：活跃用户地域信息分析 用例5：用户浏览深度分析 本项目用到的文件获取如下,提取码: 6xdx 点我获取文件 注意:本文都是在spark-shell环境下完成 用例1：数据清洗 读入日志文件并转化为RDD[Row]类型 按 阅读全文
摘要：
一.数据来源 本次示例所用数据是来自搜狗实验室的用户查询日志。搜索引擎查询日志库设计为包括约1个月(2008年6月)Sogou搜索引擎部分网页查询需求及用户点击情况的网页查询日志数据集合。为进行中文搜索引擎用户行为分析的研究者提供基准研究语料。 数据下载地址为：http://www.sogou.co 阅读全文
摘要：
声明： 因项目中使用clickhouse引擎这里springboot使用的方式是jdbc方式连接，这种方式的好处是可以使用clickhouse 自带的fetch方法批量从clickhouse中获取数据，对于大量数据的下载来说，比较好 因为如果全部拿到内存中处理，大量数据会有内存溢出的结果 如果批量多 阅读全文
摘要：
获取数据 数据可以是自己爬取，也可以是其它方式获取，不多说。 数据的特征提取和数据清洗 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190116192233803.png?x-oss- process=image/watermark,type_ZmFuZ3p 阅读全文