随笔分类 -  大数据学习

每日总结（csv文件）
摘要：一、CSV概念 1、逗号分隔值（Comma-Separated Values，CSV），其文件以纯文本形式存储表格数据（数字和文本），文件的每一行都是一个数据记录。每个记录由一个或多个字段组成，用逗号分隔。使用逗号作为字段分隔符是此文件格式的名称的来源，因为分隔字符也可以不是逗号，有时也称为字符分隔 阅读全文
posted @ 2023-10-25 11:57 橘子味芬达水 阅读(214) 评论(0) 推荐(0) 编辑
每日总结2023/9/27（mapreduce案例）
摘要：参考例文、 MapReduce经典案例实战_mapreduce编程案例-CSDN博客 map代码 package cn.com.sise.mapreduce.invertedindex; import java.io.IOException; import org.apache.hadoop.io. 阅读全文
posted @ 2023-09-27 20:41 橘子味芬达水 阅读(5) 评论(0) 推荐(0) 编辑
每日总结2023/9/26（mongodb）
摘要：安装配置流程： 在Windows10系统中安装和使用MongDB6.0_厦大数据库实验室博客 (xmu.edu.cn) 创建数据库 use zhaojinrong mongo语句： 查询 添加 db.zhaojinrong.insertOne({_name:'javaweb', sname:'雷宇' 阅读全文
posted @ 2023-09-27 00:06 橘子味芬达水 阅读(20) 评论(0) 推荐(0) 编辑
每日总结2023/9/25
摘要：Hive课堂测试 答题纸 班级：信2105-1 学号：20214153姓名：赵金荣 首先将文件上传至虚拟机中 根据需要导出的数据类型以及表，提前在准备导出的mysql中建立表 create database test;use test;create table test_jichang( day_i 阅读全文
posted @ 2023-09-25 23:38 橘子味芬达水 阅读(7) 评论(0) 推荐(0) 编辑
每日总结2023/9/24（zookeeper）
摘要：什么是 ZooKeeper？ ZooKeeper 是一个分布式的，开放源码的分布式应用程序协同服务。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。 ZooKeeper 发展历史 ZooKeeper 最 阅读全文
posted @ 2023-09-24 17:10 橘子味芬达水 阅读(28) 评论(0) 推荐(0) 编辑
每周总结2023/8 hbase安装教程
摘要：HBase安装 Hbase的启动前需要先启动zookeeper和Hadoop，这里先启动好再进行下面的安装准备工作1、启动hadoopstart-all.sh验证http://master:50070 2、启动zookeeper需要在在三台中分别启动zkServer.sh start zkServe 阅读全文
posted @ 2023-09-22 00:15 橘子味芬达水 阅读(39) 评论(0) 推荐(0) 编辑
每周总结2，zookeeper配置教程
摘要：一、版本介绍 linux : CentOS7Hadoop : 2.7.6zookeeper : 3.4.6hbase : 1.4.6jdk : jdk1.8.0_171三个节点的主机名分别为：master、node1、node2 二、安装Hadoop HBase 是在 Hadoop 这种分布式框架中 阅读全文
posted @ 2023-09-13 00:16 橘子味芬达水 阅读(5) 评论(0) 推荐(0) 编辑
每周总结2023/7/12
摘要：hadoop组成 HDFS架构 namenode负责处理数据存储位置，Datanode负责存储的具体数据2NN负责辅助namenode 阅读全文
posted @ 2023-07-12 22:06 橘子味芬达水 阅读(14) 评论(0) 推荐(0) 编辑
每周总结之docker2023/6/26
摘要：环境与容器 个人感觉docker创建的容器就像类似于一台虚拟机一样的东西，不过在容器内同样是可以使用显卡的，进入docker容器后，我们创建的容器就跟一台新的机器没差，同样可以在容器中使用anaconda配置环境，也是一样的操作命令，感觉docker创建容器就是给你开了一台属于自己的服务器然后ana 阅读全文
posted @ 2023-06-26 15:38 橘子味芬达水 阅读(28) 评论(0) 推荐(0) 编辑