摘要:
本人微信公众号,欢迎扫码关注! 使用jdbc拼接条件查询语句时如何防止sql注入 最近公司的项目在上线时需要进行安全扫描,但是有几个项目中含有部分老代码,操作数据库时使用的是jdbc,并且竟然好多都是拼接的SQL语句,真是令人抓狂。 在具体改造时,必须使用PreparedStatement来防止SQ 阅读全文
摘要:
本人微信公众号,欢迎扫码关注! NameNode工作机制 1 NameNode & SecondaryNameNode工作机制 1.1 第一阶段:namenode启动 1)第一次启动namenode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。 阅读全文
摘要:
本人微信公众号,欢迎扫码关注! HDFS的数据流 1 HDFS写数据流程 1.1 剖析文件写入 1)客户端向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。 2)namenode返回是否可以上传。 3)客户端请求第一个 block上传到哪几个datanode服务 阅读全文
摘要:
title: Hadoop系列007 HDFS客户端操作 date: 2018 12 6 15:52:55 updated: 2018 12 6 15:52:55 categories: Hadoop tags: [Hadoop,HDFS,HDFS客户端] 本人微信公众号,欢迎扫码关注! HDFS客 阅读全文
摘要:
本人微信公众号,欢迎扫码关注! HDFS概念及命令行操作 一、HDFS概念 1.1 概念 HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。 HDFS的设计适合一次写入,多次读出的场景,且不支持文件的修改。 阅读全文
摘要:
本人微信公众号,欢迎扫码关注! Hadoop运行模式(下) 2.3、完全分布式部署Hadoop 1)分析: 1)准备3台客户机(关闭防火墙、静态ip、主机名称) 2)安装jdk 3)配置环境变量 4)安装hadoop 5)配置环境变量 6)安装ssh 7)配置集群 8)启动测试集群 2)操作 (1) 阅读全文
摘要:
title: Hadoop系列004 Hadoop运行模式(上) date: 2018 11 20 14:27:00 updated: 2018 11 20 14:27:00 categories: Hadoop tags: [Hadoop,框架,运行模式] 本人微信公众号,欢迎扫码关注! Hado 阅读全文
摘要:
本人微信公众号,欢迎扫码关注! Hadoop运行环境搭建 1、虚拟机网络模式设置为NAT 2、克隆虚拟机 3、修改为静态ip 4、 修改主机名 5、关闭防火墙 1)查看防火墙开机启动状态 2)关闭防火墙 6、在opt目录下创建文件 7、安装JDK 1)卸载现有jdk 查询是否安装java软件: 如果 阅读全文
摘要:
本人微信公众号,欢迎扫码关注! 从Hadoop框架讨论大数据生态 1、Hadoop是什么 1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构 2)主要解决,海量数据的存储和海量数据的分析计算问题。 3)广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈 2、Ha 阅读全文
摘要:
本人微信公众号,欢迎扫码关注! 大数据概论 1、大数据概念 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 最小的基本单位是bit,按顺序给出所有单位: 阅读全文