大数据应用期末总评

 

  该作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339

1.将爬虫大作业产生的csv文件上传到HDFS

我爬虫作业爬取的是招聘网站对于JAVA的岗位信息：共计15129条

 

创建文件夹并且把文件复制进去，并且尝试打开文件前5行

启动hadoop，并且查看jps，和在hdfs上面创建文件夹

 

将文件上传到hdfs

 

2.对CSV文件进行预处理生成无标题文本文件

 

3.把hdfs中的文本文件最终导入到数据仓库Hive中

首先创建dbcmh数据库

然后创建表

 

4.在Hive中查看并分析数据

使用查询语句查询并且分析结果

首先我要分析的问题的，对于java的岗位的待遇要求有什么，哪些最高，能吸引人员投简历的哪些？

下面是我查询的年底双薪待遇的条数，有12757个。

 

带薪年假这个待遇的岗位有6215个，

 

定期公司体检身体的有4557个。

 

标有发展空间大的岗位有7765个。

 

绩效奖金待遇的岗位有8692个。

提供技能培训的岗位仅仅只有1906个。这个也说明了公司给技能培训的很少，很多岗位都希望能马上进行工作，而不用培训。要求较高，对于经验要求很高。

提供五险一金的岗位有9061个，看来很多公司都会给工作人员五险一金的待遇。这个待遇对于找工作的人来说是非常看重的。

有部分公司的招聘写着股票期权，但是仅仅只有3538个。 

 

 年终奖是一个非常好的待遇，很多公司都有这个福利，现在查询出有11143个岗位有这个待遇。所以可以看出，有无年终奖是很多投简人的选择要求。

 

 

综上所述：经过分析，我发现年底双薪、年终奖、五险一金，这三个待遇是很多公司都有的，这样看来，很多择业人员选择岗位都想找有这些待遇的公司，因为这么多岗位都发放出这些待遇，说明了目前很多人重视这些。