BigJunOba

2018年8月2日

摘要： 1.Collection接口通常不被直接使用。但是Collection接口定义了一些通用的方法，通过这些方法可以实现对集合的基本操作，因为List接口和Set接口都实现了Collection接口，所以这些方法对List集合和Set集合时通用的。创建一个集合类可以这样定义：由于Java中不能对接口阅读全文

posted @ 2018-08-02 16:55 BigJunOba 阅读(217) 评论(0) 推荐(0) 编辑

Java基础（十九）集合（1）集合中主要接口和实现类

摘要： 1.Java集合框架为不同类型的集合定义了大量接口其中，集合有两个基本接口：Collection和Map。 2.各接口的主要特征如下（1）Collection接口：是List接口、Set接口和Queue接口的父接口，通常情况下不能被直接使用。（2）List接口：实现了Collection接口，阅读全文

posted @ 2018-08-02 16:46 BigJunOba 阅读(464) 评论(0) 推荐(0) 编辑

Java基础（十八）集合（5）Queue集合

摘要：队列是只能在尾部添加元素，同时只能在头部删除元素的数据结构。队列的原则就是“先进先出”。 Queue接口是Collection接口的最后一个子接口。 Queue接口是队列接口，而Deque接口是Queue接口的子接口，可以用来实现双端队列，让人们有效地在头部和尾部同时添加或删除元素。 ArrayDe 阅读全文

posted @ 2018-08-02 16:17 BigJunOba 阅读(252) 评论(0) 推荐(0) 编辑

2018年7月26日

Golang的安装和编译

摘要：一、下载安装(Ubuntu16.04) 1.下载地址：https://golang.google.cn/dl/ 2.下载Linux版本的安装包go1.10.3.linux-amd64.tar.gz并复制到/usr/local下并解压 3.增加Linux环境变量并source生效（1）执行编写环境变阅读全文

posted @ 2018-07-26 16:33 BigJunOba 阅读(452) 评论(0) 推荐(0) 编辑

基于Java的开源爬虫框架WebCollector的使用

摘要：一、WebCollector介绍 WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。 WebCollector致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核具有很强的扩展性，用户可以在阅读全文

posted @ 2018-07-26 11:40 BigJunOba 阅读(1131) 评论(0) 推荐(0) 编辑

2018年7月24日

（实际开发大数据分析系统）网络爬虫获取数据与销售数据分析系统

摘要：大数据分析应用系统的完整开发过程分为数据采集、数据存储、数据计算和数据分析和展示四个部分。数据采集：WebCollector框架数据存储：SQL 数据计算：数据分析和展示：Java EE 流程就是：在Windows上使用WebCollector数据采集模块来采集数据并得到Windows下面的阅读全文

posted @ 2018-07-24 22:13 BigJunOba 阅读(1404) 评论(0) 推荐(0) 编辑

协同过滤推荐系统

摘要：二、ALS的应用设计 1.输入数据（1）评分文件（rating.dat）该数据有四个字段，格式为UserID::MovieID::Rating::Timestamp，分别为用户编号、电影编号、评分、评分时间戳。其中，用户编号范围（1~6040）、电影编号（1~3952）、电影评分（0~5）、评阅读全文

posted @ 2018-07-24 22:07 BigJunOba 阅读(252) 评论(0) 推荐(0) 编辑

使用IDEA开发Spark程序

摘要：一、分布式估算圆周率 1.计算原理假设正方形的面积S等于x²，而正方形的内切圆的面积C等于Pi×(x/2)²，因此圆面积与正方形面积之比C/S就为Pi/4，于是就有Pi=4×C/S。可以利用计算机随机产生大量位于正方形内部的点，通过点的数量去近似表示面积。假设位于正方形中点的数量为Ps，落在圆内阅读全文

posted @ 2018-07-24 10:49 BigJunOba 阅读(2606) 评论(0) 推荐(0) 编辑

2018年7月23日

IDEA安装

摘要： Spark通常采用Scala语言进行开发，而IDEA是最佳的Scala语言开发环境 1.https://www.jetbrains.com/idea/download/#section=linux下载ideaIC-2018.1.6.tar.gz然后复制到Master下的/home/jun下并解压，执阅读全文

posted @ 2018-07-23 22:17 BigJunOba 阅读(295) 评论(0) 推荐(0) 编辑

Spark集群安装与配置

摘要：一、Scala安装 1.https://www.scala-lang.org/download/2.11.12.html下载并复制到/home/jun下解压 2.启动Scala并使用Scala Shell 3.将Scala安装包复制到slave节点二、Spark集群的安装与配置采用Hadoop 阅读全文

posted @ 2018-07-23 21:33 BigJunOba 阅读(365) 评论(0) 推荐(0) 编辑

公告