摘要：
本人微信公众号，欢迎扫码关注！ 使用jdbc拼接条件查询语句时如何防止sql注入 最近公司的项目在上线时需要进行安全扫描，但是有几个项目中含有部分老代码，操作数据库时使用的是jdbc，并且竟然好多都是拼接的SQL语句，真是令人抓狂。 在具体改造时，必须使用PreparedStatement来防止SQ 阅读全文
摘要：
本人微信公众号，欢迎扫码关注！ NameNode工作机制 1 NameNode & SecondaryNameNode工作机制 1.1 第一阶段：namenode启动 1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 阅读全文
摘要：
本人微信公众号，欢迎扫码关注！ HDFS的数据流 1 HDFS写数据流程 1.1 剖析文件写入 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务 阅读全文
摘要：
title: Hadoop系列007 HDFS客户端操作 date: 2018 12 6 15:52:55 updated: 2018 12 6 15:52:55 categories: Hadoop tags: [Hadoop,HDFS,HDFS客户端] 本人微信公众号，欢迎扫码关注！ HDFS客 阅读全文
摘要：
本人微信公众号，欢迎扫码关注！ HDFS概念及命令行操作 一、HDFS概念 1.1 概念 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。 阅读全文
摘要：
本人微信公众号，欢迎扫码关注！ Hadoop运行模式（下） 2.3、完全分布式部署Hadoop 1）分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装jdk 3）配置环境变量 4）安装hadoop 5）配置环境变量 6）安装ssh 7）配置集群 8）启动测试集群 2）操作 （1） 阅读全文
摘要：
本人微信公众号，欢迎扫码关注！ Hadoop运行环境搭建 1、虚拟机网络模式设置为NAT 2、克隆虚拟机 3、修改为静态ip 4、 修改主机名 5、关闭防火墙 1）查看防火墙开机启动状态 2）关闭防火墙 6、在opt目录下创建文件 7、安装JDK 1）卸载现有jdk 查询是否安装java软件： 如果 阅读全文
摘要：
title: Hadoop系列004 Hadoop运行模式（上） date: 2018 11 20 14:27:00 updated: 2018 11 20 14:27:00 categories: Hadoop tags: [Hadoop,框架,运行模式] 本人微信公众号，欢迎扫码关注！ Hado 阅读全文
摘要：
本人微信公众号，欢迎扫码关注！ 从Hadoop框架讨论大数据生态 1、Hadoop是什么 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈 2、Ha 阅读全文
摘要：
本人微信公众号，欢迎扫码关注！ 大数据概论 1、大数据概念 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 最小的基本单位是bit，按顺序给出所有单位： 阅读全文