11 2021 档案
摘要：Hadoop详解(01)概论 概念 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决，海量数据的存储和海量数据的分析计算问题。截至目前，人类生产的
阅读全文
摘要：Linux下Hadoop3.2.0集群环境的搭建 张京坤 20190704 本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建 一 准备工作 1.1 服务器 本案例使用Contos 7.6 64bit 在3台机器上部署集群 一台管理节点master，2台数据节点sla
阅读全文
摘要：## 系统信息arch #显示机器的处理器架构(1)uname -m #显示机器的处理器架构(2)uname -r #显示正在使用的内核版本dmidecode -q #显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda #罗列一个磁盘的架构特性hdparm -tT
阅读全文
摘要：Linux利用crontab执行定时任务 crond简介 crond简介 crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似，当安装完成操作系统后，默认会安装此服务工具，并且会自动启动crond进程，crond进程每分钟会定期检查是否有
阅读全文
摘要：CentOS7升级Linux内核 什么是Linux内核 虽然时候使用 Linux 来表示整个操作系统，严格地说，Linux 只是个内核，而发行版的操作系统是一个完整功能的系统，它建立在内核之上，具有各种各样的应用程序工具和库。在正常操作期间，内核负责执行两个重要任务： 为此，内核通过内置的驱动程序或
阅读全文
摘要：安装linux下安装软件需要安装一系列的rpm包，用rpm -ivh xx和yum install xx 如果用rpm安装软件包的时候，需要自己下载rpm安装包，如果rpm包不全总是提示依赖检查失败或者提示未知的错误，过程比较复杂。通过yum的命令安装会很方便，但是，很多公司的服务器是在内网中运行，
阅读全文
摘要：Java8时间日期处理新特性 简介 伴随lambda表达式、streams以及一系列小优化，Java 8 推出了全新的日期时间API。Java处理日期、日历和时间的不足之处：将 java.util.Date 设定为可变类型，以及 SimpleDateFormat 的非线程安全使其应用非常受限。然后就
阅读全文
摘要：java【反射】 内容 类加载过程 类加载器 反射 简单工厂设计模式 工厂方法设计模式 静态代理设计模式 动态代理设计模式 目标 了解类的加载过程 理解类初始化过程 了解类加载器 掌握获取Class对象的四种方式 能够运用反射获取类型的详细信息 能够运用反射动态创建对象 能够运用反射动态获取成员变量
阅读全文
摘要：基本知识 基本知识 进程介绍 进程介绍 不管是开发的应用程序还是运行的其他的应用程序，都需要先把程序安装在本地的硬盘上。然后找到这个程序的启动文件，启动程序的时候，其实是电脑把当前的这个程序加载到内存中，在内存中需要给当前的程序分配一段独立的运行空间。这片空间就专门负责当前这个程序的运行。 不同的应
阅读全文
摘要：java监控工具使用 java监控工具使用 jconsole jconsole jconsole是一种集成了上面所有命令功能的可视化工具，可以分析jvm的内存使用情况和线程等信息。 启动jconsole 启动jconsole 通过JDK/bin目录下的"jconsole.exe"启动Jconsole
阅读全文
摘要：一、Java 8 Lambda 表达式 Lambda 表达式，也可称为闭包，它是推动 Java 8 发布的最重要新特性。 Lambda 允许把函数作为一个方法的参数（函数作为参数传递进方法中）。 使用Lambda 表达式可以使代码变的更加简洁紧凑。 1.1 语法 lambda 表达式的语法格式如下：
阅读全文
摘要：一 下载 Mysql5.7下载地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads Mysql精细版本存档版本下载地址：https://downloads.mysql.com/archives/community/ 选择对应的linu
阅读全文
摘要：如果执行make apps/出现下图情况，是因为python版本不对导致的，需要安装python3 下载地址：https://www.python.org/ftp/python/3.7.10/Python-3.7.10.tgz 其他python版本下载地址：https://www.python.or
阅读全文
摘要：Docker安装 更新软件库（可选），将所用到的yum软件更新到最新 yum -y update docker一键安装命令： curl -fsSL https://get.docker.com | bash -s docker --mirror aliyun 查看docker信息 systemctl
阅读全文
摘要：vuepress概述 vuepress概述 VuePress 由两部分组成：第一部分是一个极简静态网站生成器 (opens new window)，它包含由 Vue 驱动的主题系统和插件 API，另一个部分是为书写技术文档而优化的默认主题，它的诞生初衷是为了支持 Vue 及其子项目的文档需求。 每一
阅读全文
摘要：查看防火墙状态 firewall-cmd --state 开启防火墙 立即启动防火墙 systemctl start firewalld 设置防火墙开机自启 systemctl enable firewalld 编辑配置 开机启动脚本 文件 根据需要开放的端口和允许访问的ip地址编辑策略脚本，请参考
阅读全文
摘要：应用场景 同步时钟很有必要，如果服务器的时间差过大会出现不必要的问题 大数据产生与处理系统是各种计算设备集群的，计算设备将统一、同步的标准时间用于记录各种事件发生时序， 如E-MAIL信息、文件创建和访问时间、数据库处理时间等。 大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时
阅读全文
摘要：开启关闭防火墙重启后生效 开启：systemctl enable firewalld 关闭：systemctl disable firewalld立即生效 开启：systemctl start firewalld 关闭：systemctl stop firewalld 重启：systemctl re
阅读全文
摘要：方法一：修改 /etc/rc.d/rc.local 文件/etc/rc.d/rc.local 文件会在 Linux 系统各项服务都启动完毕之后再被运行。所以想要脚本在开机后被运行的话，可以将自己脚本路径加到该文件里添加rc.local文件的可执行权限，默认情况下，/etc/rc.d/rc.local
阅读全文
摘要：# 查看物理CPU个数cat /proc/cpuinfo | grep "physical id" | sort | uniq # 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo | grep "cpu cores" | uniq # 查看每个物理CPU中线程的个数c
阅读全文
摘要：这里使用手动挂载方式，还有其他挂载方式请百度 检查网站的磁盘状态，确认是否有没有分区的磁盘。 fdisk -l 如图所示，这个服务器有两个硬盘第一个299.0G,第二个20000.0G。这种情况说明硬盘已经分区。 下面将/dev/sdb分区挂载 格式化分区 mkfs.ext4 /dev/sdb ex
阅读全文
摘要：创建虚拟机 创建虚拟机 新建虚拟机 新建虚拟机 选择虚拟机的操作系统，本文中安装的CentOS属于linux 选择虚拟机的操作系统，本文中安装的CentOS属于linux 设置虚拟机的名称和虚拟机所使用的文件再物理机中的路径， 设置虚拟机的名称和虚拟机所使用的文件再物理机中的路径， 设置虚拟机的cu
阅读全文
摘要：想学习CentOS系统，但是不知道镜像去哪里搞，随便去个第三方发现要么要注册，要么各种广告病毒，或者好不容易找到官网，不仅全英文，有些专业术语也不懂，本文说明官网下载自己想要的CentOS镜像整个流程。 1、CentoS简介 CentOS（Community Enterprise Operating
阅读全文
摘要：vsftpd作为一个主打安全的FTP服务器，有很多的选项设置。下面介绍了vsftpd的配置文件列表，而所有的配置都是基于vsftpd.conf这个配置文件的。本文将提供完整的vsftpd.conf的中文说明。学习本文的内容将有助于你初步了解vsftpd的配置文件，但针对具体情况还需要制定具体的配置方
阅读全文
摘要：知网链接 原文链接 张京坤， 王怡怡 软件导刊 2020年19卷第9期 页码:190-195 DOI：10.11907/rjdk.192529 出版日期：2020-9-15 摘 要： 为了改善网络舆情态势感知和预警中舆情信息分析不准确的问题，提出基于Spark技术的均值漂移（Mean Shift,
阅读全文
摘要：注册博客园账户 注册博客园账户 使用浏览器访问博客园官方 https://www.cnblogs.com 注册账号，若已有账号可忽略此步骤 Word发布到博客园需要的信息 Word发布到博客园需要的信息 Word发布到博客园需要3个关键信息，分别是用户名，密码，MetaWeblog URL，获取方式
阅读全文
摘要：vsftp安装文档 张京坤 20190325 ftp安装 安装环境：centOS7.6 安装vsfptd 在线安装：服务器联网状态下 检查是否安装了vsftpd：rpm -qa |grep vsftpd 在线安装vsftpd命令：yum install vsftpd –y 离线安装： ftp离线安装
阅读全文
摘要：一 环境准备 1. 准备机器 2. 修改静态IP 3. 修改主机名 4. 关闭防火墙 5. 创建普通用户hadoop 添加hadoop用户 [root@hadoop102 ~]#useradd hadoop 设置密码 [root@hadoop102 ~]#passwd hadoop 6. 配置had
阅读全文
摘要：1. 卸载现有JDK （1）查询是否安装Java软件： [root@hadoop101 opt]$ rpm -qa | grep java （2）如果安装的版本低于1.7，卸载该JDK： [root@hadoop101 opt]$ sudo rpm -e 软件包 （3）查看JDK安装路径： [roo
阅读全文
摘要：clear 清空内容reboot重新启动操作系统ll -h 加-h可以友好展示每个文件的大小和每个文件夹的文件个数su - admin 加‘-’是完全切换到admin用户 文件操作rm [选项] 文件 选项说明: -f -force 忽略不存在的文件,强制删除,无任何提示解压：tar -zxvf j
阅读全文