随笔分类 - 2. 大数据、云和大规模处理
计算机大规模处理技术。 大数据、云计算、大规模并发、 大规模计算、大规模存储
摘要：说明 不用安装 linux 基本自带， 执行sqlite3 python3 自带安装包 import sqlite3 使用 数据库概述 单机单文件，无服务器进程，只能本地读写。无法远程。 磁盘上文件名 对应数据库，文件里的内容 包含各种表、数据等 主要用于 手机、嵌入式 关系型数据库的大多功能支持
阅读全文
摘要：说明 版本 hbase 2.3.6 安装在hadoop 上 安装 单机版 b0104 大数据集群-2021伪分布式-环境搭建 分布式 b0105 大数据集群-2021分布式A(手动3节点)-环境搭建 b0106 大数据集群-2021分布式B(服务器)-环境搭建 使用 命令行 参考 HBase She
阅读全文
摘要：说明 版本 kafka_2.133-2.80 安装 单机 b0104 大数据集群-2021伪分布式-环境搭建 分布式 b0105 大数据集群-2021分布式A(手动3节点)-环境搭建 使用 ### 启动 zkServer.sh start cd /opt/kafka_2.13-2.8.0/bin n
阅读全文
摘要：说明 环境 linux centos 7.9 当前最新 redis-7.0.2 安装 下载 从官网 https://redis.io/download/#redis-downloads 找到最新的稳定版 下载 上传到 linux环境 安装 关键过程参考 安装redis 最新版 redis-6.2.6
阅读全文
摘要：安装 说明 hc2108 centos 7.9 ,下载 linux x86_64 elasticsearch-8.3.0 jdk1.8已经装好 es 比较耗费内存，准备4G以上内存机器 过程 参考下文 Elasticsearch详细安装教程（Linux） 不一样的地方 没有创建es 用户， 用had
阅读全文
摘要：说明 mongodb 5.0.9 linux centos 7.9, hc2108, 192.168.1.10， 安装路径 /opt 安装 参考 https://www.runoob.com/mongodb/mongodb-linux-install.html 1 从 https://www.mon
阅读全文
摘要：环境 flink 1.13.2 scala 2.12 jdk8 python 3.8 hadoop 3.3.1 linux centos 7 win7 linux hc2108 ，flink 单机 , hc2107客户端 linux hc2151-hc2156 flink集群 , hc2150客户端
阅读全文
摘要：Spark 1. 序列化编号 本地、远程不一致 2022-04 描述： IDEA 中 跑 scala 编写的 spark程序， 指定master 为 远程 standlone的主机 -Dspark.master=spark://hc2108:7077, 结果在集群 程序的日志中发现这个错误 loca
阅读全文
摘要：环境 windows 7 jdk 1.8 idea 2021.2 1. Spark 3.1.2 20211107 目的 在 windows 本地 可以在 IDE中 ，用java 写spark，并在里面执行 前置 已经安装 jdk1.8。 注意, 没有安装scala 安装开发工具 IDE IDEA 从
阅读全文
摘要：关键词: MariaDB 持续累积 对MariaDB数据库和配套工具的安装、维护，以及如何使用. 说明 使用 MariaDB 5.5， 对应MySQL5.5 的开源版本，功能一样。 再往后2012年11月12日， MariaDB 5.5 ->MariaDB 10.0， Mysql 5.6时 已经被甲
阅读全文
摘要：环境 HP GL360 D6 服务器 安装 vmware 12, 虚拟机装 centos7.9 大数据 6台主机 作为服务器, 另外一台主机 做 客户机 (hc2150 参考 b0105 大数据搭建，复制其3台机器，然后拓展 集群规 描述 hc2151 hc2152 hc2153 hc2154 hc
阅读全文
摘要：环境 win7 安装vｍware12，虚拟机装 centos7.9 主机: hc2108/192.168.25.108 已有 已经创建hadoop账号，添加了sudo 权限 已经安装jdk1.8 配置了 主机名 和静态ip地址 关闭防火墙 计划 计划把这台机器当作伪分布式机器，安装大数据开源生态常见
阅读全文
摘要：目的: 学习用java进行的常用hdfs操作 参考： [b0002] Hadoop HDFS cmd常用命令练手 环境： hadoop2.6.4 win7 下的eclipse环境调试已经配置好，参考前面的文章 代码： 1. 创建文件夹 以流的方式下载文件 1 package hdfs; 2 3 im
阅读全文
摘要：目的： 不用任何IDE，直接在linux 下输入代码、调试执行 环境： Linux Ubuntu Hadoop 2.6.4 相关: [b0012] Hadoop 版hello word mapreduce wordcount 运行(二) 最佳: 简单方式： 在当前目录创建类文件，添加后面的内容，但是
阅读全文
摘要：目的： 学习Hadoop mapreduce 开发环境eclipse windows下的搭建 环境： Winows 7 64 eclipse 直接连接hadoop运行的环境已经搭建好,结果输出到eclipse Hadoop2.6.4环境 相关： [0004] Hadoop 版hello word m
阅读全文
摘要：目的： 学习windows 开发hadoop程序的配置。 [b0007] windows 下 eclipse 开发 hdfs程序样例 太麻烦 [b0010] windows 下 eclipse 开发 hdfs程序样例 (二) 输出日志变化，而且配置似乎很麻烦。 环境： windows 7 64下 e
阅读全文
摘要：目的： 学习windows 开发hadoop程序的配置 相关： [b0007] windows 下 eclipse 开发 hdfs程序样例 环境： 基于以下环境配置好后。 [b0008] Windows 7 下 hadoop 2.6.4 eclipse 本地开发调试配置 1. 新建HDFS下载文件类
阅读全文
摘要：1. Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class mp.filetest.WordCount2 had
阅读全文
摘要：目的: 基于上篇的方法介绍，开发很不方便 。[0007] windows 下 eclipse 开发 hdfs程序样例 装上插件，方便后续直接在windows下的IDE开发调试。 环境： Linux Hadoop 2.6.4，参考文章 [0001] Win 7 64 下的 Eclipse Versio
阅读全文
摘要：目的： 学习使用hdfs 的java命令操作 相关: 进化： [b0010] windows 下 eclipse 开发 hdfs程序样例 (二) [b0011] windows 下 eclipse 开发 hdfs程序样例 (三) 环境： hadoop2.6.4 伪分布式 win7 + eclipse
阅读全文
