摘要: 一.八爪鱼抓取智联招聘信息 1.1 打开八爪鱼采集器==》选择快速开始==>新建任务(高级模式) 1.2点击下一步 基本流程如下点击下一步 1.3启动单机采集等待数据抓取完毕 1.4导出数据 csv格式 二.将信息导入到虚拟机 2.1 因访问外网需要建立socroueCRT映射 2.2使用Fz将数据 阅读全文
posted @ 2017-08-25 14:34 菜鸟的进击 阅读(4898) 评论(0) 推荐(0) 编辑
摘要: 一.Spark的产生背景起源 1.spark特点 1.1轻量级快速处理 Saprk允许传统的hadoop集群中的应用程序在内存中已100倍的速度运行即使在磁盘上也比传统的hadoop快10倍,Spark通过减少对磁盘的io达到性能上的提升,他将中间处理的数据放到内存中,spark使用了rdd(res 阅读全文
posted @ 2017-08-25 14:25 菜鸟的进击 阅读(9602) 评论(0) 推荐(0) 编辑
摘要: 实体类和实体之间的关系:一对多,多对多 数据库设计:e_r 一个实体对象就是一个表格, 如果是1对多的关系,将多方的主键拿到1方做外键。 多对多:重新建立一张新的表格,将双方的主键拿到这里做外键 1、一对多的关系映射。 班级和学生为例: 1、创建班级实体类和学生实体类 2、在班级实体类中用set集合 阅读全文
posted @ 2017-08-21 11:03 菜鸟的进击 阅读(1137) 评论(0) 推荐(0) 编辑
摘要: JPA:出现后,所有的ORM框架都有@注解 ,在所有的ORM框架里面是通用的,因此一般是建议大家使用注解进行配置。 实体类一般都有唯一属性,普通属性,集合属性 如何体现ORM思想的? @Entity:用来表示这是一个实体对象。 @Table:用来描述这个实体对象所对应的是哪一个表格 @Column: 阅读全文
posted @ 2017-08-21 11:01 菜鸟的进击 阅读(128) 评论(0) 推荐(0) 编辑
摘要: 哈哈 阅读全文
posted @ 2017-08-15 18:32 菜鸟的进击 阅读(95) 评论(0) 推荐(0) 编辑
摘要: Hibernate主要配置文件 实体配置文件 log4j日志配置为文件 阅读全文
posted @ 2017-08-15 18:25 菜鸟的进击 阅读(362) 评论(0) 推荐(0) 编辑
摘要: 概述: JDBC:将java和数据库连接的驱动程序加载到项目中,在代码里面,注册驱动,创建链接,创建satement对象,发送并执行sql之类,关闭连接。 hibernate :数据持久化一个框架,对JDBC的一个封装:使用的好处:可以不用手动sql指令就可以完成一定的持久化功能。 应用与Dao层。 阅读全文
posted @ 2017-08-15 17:12 菜鸟的进击 阅读(1050) 评论(0) 推荐(0) 编辑
摘要: Hbase特点 HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储。与h 阅读全文
posted @ 2017-08-13 15:53 菜鸟的进击 阅读(6804) 评论(0) 推荐(0) 编辑
摘要: 1 Flume架构解释 Flume概念 Flume是一个分布式 ,可靠的,和高可用的,海量的日志聚合系统 支持在系统中定制各类的数据发送方 用于收集数据 提供简单的数据提取能力 并写入到各种接受方 Flume 特点 1 可靠性 当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了 阅读全文
posted @ 2017-08-13 15:39 菜鸟的进击 阅读(393) 评论(0) 推荐(0) 编辑
摘要: 1 列出所有的ambari数据库中所有的表 Sqoop list-tables -connect jdbc:mysql://localhost:3306/ambari -username ambari -password ambari; 2列出mysql里所有的数据库 Sqoop list-data 阅读全文
posted @ 2017-08-13 15:30 菜鸟的进击 阅读(778) 评论(0) 推荐(0) 编辑