会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
金色的鱼儿
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
7
8
9
10
11
12
13
14
15
···
59
下一页
2021年1月18日
网易大数据之数据存储:HDFS
摘要: 一、HDFS基础架构 1、HDFS特点:水平扩展、高容错性、廉价硬件、开源生态系统 2、Hadoop生态圈 1)、分布式存储系统(HDFS),2)、资源管理框架(YARN),3)、批处理框架(MapReduce、Pig),4)、数据仓库(Hive),5)、NoSQL系统(HBase、Drill),6
阅读全文
posted @ 2021-01-18 14:34 金色的鱼儿
阅读(714)
评论(0)
推荐(0)
编辑
hdfs常见操作java示例
摘要: 我们学习hadoop,最常见的编程是编写mapreduce程序,但是,有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录,新建一个文件,从本地上传一个文件到hdfs等,甚至是追加内容到hdfs文件中。 这里介绍一些常见的hdfs操作的java示例,帮助我们加深对hdfs的理解。
阅读全文
posted @ 2021-01-18 13:53 金色的鱼儿
阅读(410)
评论(0)
推荐(0)
编辑
Hadoop基础---HDFS的Java客户端编写
摘要: Hadoop基础 HDFS的Java客户端编写 目录 补充:Eclipse自动补全快捷键一:导入jar包 (一)定义用户依赖库 (二)导入 hdfs基础jar包 (三)导入hdfs基础jar包所依赖的库 (四)导入公共jar包 (五)导入公共jar包所需lib库 (六):创建类二:实现下载文件 (一
阅读全文
posted @ 2021-01-18 13:48 金色的鱼儿
阅读(127)
评论(0)
推荐(0)
编辑
Sqoop2 从MySQL导入数据到Hadoop HDFS
摘要: 前言 Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational datab
阅读全文
posted @ 2021-01-18 11:23 金色的鱼儿
阅读(470)
评论(0)
推荐(0)
编辑
mysql数据与Hadoop之间导入导出之Sqoop实例
摘要: 前面介绍了sqoop1.4.6的 如何将mysql数据导入Hadoop之Sqoop安装,下面就介绍两者间的数据互通的简单使用命令。 显示mysql数据库的信息,一般sqoop安装测试用 sqoop list-databases --connect jdbc:mysql://192.168.2.101
阅读全文
posted @ 2021-01-18 10:48 金色的鱼儿
阅读(172)
评论(0)
推荐(0)
编辑
如何将mysql数据导入Hadoop之Sqoop安装
摘要: Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库
阅读全文
posted @ 2021-01-18 10:41 金色的鱼儿
阅读(219)
评论(0)
推荐(0)
编辑
2021年1月16日
大数据场景下数据异构之 Mysql实时写入HBase(借助canal kafka SparkStreaming)
摘要: 背景:公司线下ETC机房有个Mycat集群,供订单系统使用,现需要进行数据异构将Mysql数据(近)实时写入另一套数据库用作读请求和数据归档用技术选型:binlog解析工具:阿里开源的canal 消息中间件:kafka 流式框架:SparkStreaming上代码canal解析mysqlbinlog
阅读全文
posted @ 2021-01-16 14:02 金色的鱼儿
阅读(427)
评论(0)
推荐(0)
编辑
2021年1月15日
架构 | 京东商品搜索架构设计
摘要: 电商搜索系统存在以下特点:数据量庞大。(上亿级别)高并发。(日均pv过亿、数十亿)一条商品数据由商品基本信息、价格、库存、促销、评价等组成,这些数据存储在各自业务系统当中。(多数据源导致构建索引比较麻烦)召回率要求高。(哪个商家发现搜不到自家的商品肯定要抓狂,哪怕有一个搜不到。)时效性要求高,价格变
阅读全文
posted @ 2021-01-15 20:59 金色的鱼儿
阅读(733)
评论(0)
推荐(0)
编辑
详谈京东的商品搜索系统架构设计
摘要: 京东商品搜索引擎是搜索推荐部自主研发的商品搜索引擎,主要功能是为海量京东用户提供精准、快速的购物体验。虽然只有短短几年的时间,我们的搜索引擎已经经过了多次618店庆和双11的考验,目前已经能够与人们日常使用的如谷歌、百度等全文搜索引擎相比,我们的产品与其有相通之处,比如涵盖亿级别商品的海量数据、支持
阅读全文
posted @ 2021-01-15 20:56 金色的鱼儿
阅读(891)
评论(0)
推荐(0)
编辑
springboot和hadoop2.7.7集成开发
摘要: https://www.cnblogs.com/ywjfx/p/11352892.html
阅读全文
posted @ 2021-01-15 20:26 金色的鱼儿
阅读(466)
评论(0)
推荐(0)
编辑
上一页
1
···
7
8
9
10
11
12
13
14
15
···
59
下一页
公告