摘要:
练习 同一时间不同地区的温度 求每天的最高温度 2022-04-03,21.2 2022-04-03,18.5 2022-04-03,24.3 2022-04-03,16.5 2022-04-03,10.0 2022-04-04,28.3 2022-04-04,18.7 2022-04-04,30. 阅读全文
摘要:
MapReduce是Hadoop系统核心组件之一,它是一种可用于大数据并行处理的计算模型、框架和平台,主要解决海量数据的计算,是目前分布式计算模型中应用较为广泛的一种。 **练习:**计算a.txt文件中每个单词出现的次数 hello world hello hadoop hello 51doit 阅读全文
摘要:
JAVA客户端 环境搭建 创建Maven项目,添加Hadoop依赖. <dependencies> <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java --> <dependency> <groupId>mysql</ 阅读全文
摘要:
大数据的5v特征 一、Volume:数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。 二、Variety:种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类 阅读全文
摘要:
1.shell简介 Shell就是一种命令解析器,解析用户的命令调用系统内核执行相关的命令:比如我们写一个mkdir >经过shell解析成Linux能看懂的2进制-->linux执行.一个系统可以存在多个shell,可以通过cat /etc/shells命令查看系统中安装的shell,不同的she 阅读全文
摘要:
集群搭建 快照 复制当前的机器的环境 ,当出现问题的时候 ,将机器恢复到当前快照的状态 克隆 关闭要被克隆的虚拟机 进行完整克隆 修改克隆虚拟机的ip及主机名 修改linux的IP地址 vi /etc/sysconfig/network-scripts/ifcfg-ens33 192.168.22. 阅读全文
摘要:
1 网络命令 1.1 查看本机的ip地址 ip addr -- 查看本机的IP地址 inet 192.168.133.33/ 1.2 服务 systemctl start|stop|restart|status 服务名 systemctl status network -- 查看网络服务状态 sys 阅读全文
摘要:
Linux目录结构 /:Linux中没有盘符,根目录为"/" **/bin:**存放系统命令的目录,所有用户都可以执行. **/sbin:**保存和系统环境设置相关的命令,只有超级用户可以使用这些命令,有些命令可以允许普通用户查看。 **/home:**用户缺省宿主目录 添加新用户 home会有对应 阅读全文
摘要:
MySQL的EVENTS是用来处理计划任务的。MySQL使用称为事件调度线程的特殊线程来执行所有预定事件。默认情况下,事件调度线程是未启用(版本低于8.0.3)的状态, 如要启用它,可以执行以下命令: > SET GLOBAL event_scheduler = ON ; > show variab 阅读全文
摘要:
可以使用select into outfile语句将输出保存到文件中。可以指定列和行分割符,然后可以将数据导入其他数据平台。 保存查询结果 可以将输出目标另存为文件或表。 1.另存为文件 要将输出结果保存到文件中,需要拥有file权限。 FILE是一个全局特权, 这意味着你不能将其限制为针对特定 阅读全文