Yr-Zhang - 博客园

Mapreduce中Map与Reduce的个数制定

摘要：操作： MapReduce框架将文件分为多个splits，并为每个splits创建一个Mapper，所以Mappers的个数直接由splits的数目决定。而Reducers的数目可以通过job.setNumReduceTasks()函数设置 1、Map任务的个数：理论值： 1、Mapper数据过大阅读全文

posted @ 2020-07-10 16:09 Yr-Zhang 阅读(3654) 评论(0) 推荐(0) 编辑

mapreduce参数记录

摘要： mapred-default.xml：版本参数位置参数名默认值说明 cdh5.0.1 mapred-default.xml mapred.reduce.tasks（mapreduce.job.reduces） 1 默认启动的reduce数。通过该参数可以手动修改reduce的个数 mapr 阅读全文

posted @ 2020-07-10 14:38 Yr-Zhang 阅读(188) 评论(0) 推荐(0) 编辑

find命令使用中记录

摘要：使用find命令查找文件执行任务 #!/bin/sh find /root/txj/zyr/ /root/test/\ -type f\ -name 'localhost_access_log.*.txt'\ ! -name 'localhost_access_log.'$(date -d "0 d 阅读全文

posted @ 2020-07-03 15:53 Yr-Zhang 阅读(160) 评论(0) 推荐(0) 编辑

运算符的优先级（从高到低）

摘要：如果在程序中，要改变运算顺序，可以使用()。优先级描述运算符 1 括号 ()、[] 2 正负号 +、- 3 自增自减，非 ++、--、! 4 乘除，取余 *、/、% 5 加减 +、- 6 移位运算 <<、>>、>>> 7 大小关系 >、>=、<、<= 8 相等关系 ==、!= 9 按位与 & 阅读全文

posted @ 2020-07-02 16:50 Yr-Zhang 阅读(2405) 评论(0) 推荐(0) 编辑

常用字符与ASCII代码对照表

摘要：为了便于查询，以下列出ASCII码表：第128～255号为扩展字符（不常用） ASCII码键盘 ASCII 码键盘 ASCII 码键盘 ASCII 码键盘 27 ESC 32 SPACE 33 ! 34 " 35 # 36 $ 37 % 38 & 39 ' 40 ( 41 ) 42 * 43 阅读全文

posted @ 2020-07-02 16:38 Yr-Zhang 阅读(604) 评论(0) 推荐(0) 编辑

mysql在liunx上使用记录

摘要： 1.使用命令如下命令来查看mysql的启动状态 service mysqld status 或者 service mysql status 如果是Mysql是running 就是启动状态；是 stopped 就说明mysql服务停止状态 2.Linux查看mysql 安装路径 whereis my 阅读全文

posted @ 2020-07-01 22:30 Yr-Zhang 阅读(239) 评论(0) 推荐(0) 编辑

Java 流收集器 ( Stream Collectors )

摘要： Java 流收集器异常强大，通常可以有以下等方面的操作： Collectors.groupingBy() 分组；Collectors.counting() 计数；分组排序再计算；并行分组处理平常使用代码案例一、分组操作：原型：Collector<T,?,Map<K,List<T>>> gro 阅读全文

posted @ 2020-06-28 16:19 Yr-Zhang 阅读(677) 评论(0) 推荐(0) 编辑

CDH 删除Agent节点（退役节点）

摘要： 1、登录web管理界面执行: 主机->所有主机->勾选主机->已选定的操作:停止主机上的角色执行: 主机->所有主机->勾选主机->从群集中删除:勾选"解除授权角色"和"跳过管理角色" 执行: 主机->所有主机->勾选主机->Remove From Cloudera Manager 注意 3 点阅读全文

posted @ 2020-06-19 11:01 Yr-Zhang 阅读(2018) 评论(0) 推荐(0) 编辑

学习记录CombineFileInputFormat类

摘要：基本摘自网上给自己做一记录，如有错误请斧正 CombineFileInputFormat是一个抽象类。Hadoop提供了两个实现类CombineTextInputFormat和CombineSequenceFileInputFormat。其继承关系如下： InputFormat >FileInpu 阅读全文

posted @ 2020-05-16 16:01 Yr-Zhang 阅读(710) 评论(0) 推荐(0) 编辑

读取HBases的数据的三种常见用法

摘要：感谢提供者https://blog.csdn.net/javastart/article/details/80889190?utm_source=blogxgwz0 HBase中Scan从大的层面来看主要有三种常见用法：ScanAPI、TableScanMR以及SnapshotScanMR。 Sca 阅读全文

posted @ 2020-05-12 17:38 Yr-Zhang 阅读(736) 评论(0) 推荐(0) 编辑

hash算法学习

摘要：总结下在java使用到hash的地方，因个人知识欠缺，整理不全请谅解 HashSet特点：不允许存储重复的元素没有索引，没有带索引的方法，也不能使用普通的for循环遍历是一个无序的集合，存储元素和取出元素的顺序有可能不一致底层是一个哈希表结构(查询的速度非常快) HashSet集合存储数据的阅读全文

posted @ 2020-04-24 12:04 Yr-Zhang 阅读(232) 评论(0) 推荐(0) 编辑

java的反射Method

摘要：开发过程中有时会使用到动态生成一个class，记录下，方便后面开发直接参考 1.在一个bean类中通过反射动态获取调用setter和getter方法（bean中添加下面四个方法） /** *获取类的方法 */ public static Method getGetOrSetMethod(Object 阅读全文

posted @ 2020-04-20 16:55 Yr-Zhang 阅读(784) 评论(0) 推荐(0) 编辑

maven的pom.xml打包配置

摘要： <build> <plugins>  <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>mav 阅读全文

posted @ 2020-04-20 16:40 Yr-Zhang 阅读(1482) 评论(0) 推荐(0) 编辑

使用Properties类动态加载配置文件里的内容

摘要：例如读取配置文件，配置redis，列出部分代码如下： 1.初始化对象： public class RedisInst { public RedisInst() { } public static IMyRedis getInstance() { FileConf fileConf = FileCo 阅读全文

posted @ 2020-04-20 16:25 Yr-Zhang 阅读(666) 评论(0) 推荐(0) 编辑

org.apache.commons.cli.Options

摘要：在使用java -jar命令执行包时，使用Options封装一些参数，如下方法中使用： public static void run(String[] args) { if (args.length > 0) { Properties properties = new Properties(); O 阅读全文

posted @ 2020-04-20 16:16 Yr-Zhang 阅读(2696) 评论(0) 推荐(0) 编辑

Google guava和Apache commons

摘要： Guava 是一个 Google 的基于java类库集合的扩展项目，包括 collections, caching, primitives support, concurrency libraries, common annotations, string processing, I/O, 等等 A 阅读全文

posted @ 2020-04-20 15:53 Yr-Zhang 阅读(3432) 评论(0) 推荐(1) 编辑

orc格式文件

摘要： 1、Hive支持创建表时指定orc格式即可： create table tmp.orc_test(id bigint, name string, age int) stored as orc TBLPROPERTIES('orc.compress'='SNAPPY') 压缩格式有"SNAPPY"和阅读全文

posted @ 2020-04-18 16:28 Yr-Zhang 阅读(1559) 评论(0) 推荐(0) 编辑

shell的awk命令使用

摘要：例如案例: 使用awk完成某几个数据筛选： hdfs dfs -cat hdfs://192.16.1.1/txj/data/20200305/* >> tmp.txt awk -F '|' '{if($1 != '0') print $1}' tmp.txt >> test.txtsort tes 阅读全文

posted @ 2020-04-18 16:13 Yr-Zhang 阅读(166) 评论(0) 推荐(0) 编辑

springboot注解大全

摘要：参考看https://mp.weixin.qq.com/s/6lO6VUuQ7-9601ww8-65qg，感谢提供者，程序员都有无私的爱！一、注解 (annotations) 列表@SpringBootApplication：包含了 @ComponentScan、@Configuration 和阅读全文

posted @ 2020-04-18 14:36 Yr-Zhang 阅读(180) 评论(0) 推荐(0) 编辑

散装hadoop环境

摘要： hadoop-ha+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安装 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zo 阅读全文

posted @ 2020-04-07 16:22 Yr-Zhang 阅读(136) 评论(0) 推荐(0) 编辑

hadoop前提环境

摘要：环境准备配置网络 1. 查看网络接口状态 ifconfig 2. 编辑eth0网卡（善用补全键 Table）vi /etc/sysconfig/network-scripts/ifcfg-eth0 注意查看自己虚拟机的网络编辑器中的VMnet8给予的子网IP对照子网IP进行设置 3.shift+G 阅读全文

posted @ 2020-04-07 16:19 Yr-Zhang 阅读(156) 评论(0) 推荐(0) 编辑

某公司笔试题

摘要：公司一：java笔试题 1、java中常说的堆和栈，分别是什么数据结构？为什么要分为堆和栈来存储数据？ 2、mybatis如何处理结果集？ 3、请描述一下你对mysql优化经验？ 4、mysql的语句优化，使用什么工具？ 5、mysql有那些存储引擎？都有什么区别？ 6、redis是如何持久化的？阅读全文

posted @ 2020-03-23 10:37 Yr-Zhang 阅读(181) 评论(0) 推荐(0) 编辑

crontab

摘要：【介绍:】 linux 系统则是由 cron (crond) 这个系统服务来控制的。这个系统服务是默认启动的。 Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。 crond 是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，liunx默认会安装此服务阅读全文

posted @ 2020-03-21 17:50 Yr-Zhang 阅读(227) 评论(0) 推荐(0) 编辑

shell写定时任务

摘要：自己记录下使用脚本定时每几分钟执行一次任务：#!/bin/bas#打印当前地址cd $(dirname $0)echo $(dirname $0#获取父级路径path=$(dirname $(dirname $PWD))/jars/gather-1.0-SNAPSHOT-jar-with-depe 阅读全文

posted @ 2020-03-21 09:07 Yr-Zhang 阅读(1721) 评论(0) 推荐(0) 编辑

sql中的join使用

摘要： join常用如下： left join : 左连接，返回左表中所有的记录以及右表中连接字段相等的记录。 right join : 右连接，返回右表中所有的记录以及左表中连接字段相等的记录。 inner join : 内连接，又叫等值连接，只返回两个表中连接字段相等的行。 full join : 外连阅读全文

posted @ 2020-03-12 12:16 Yr-Zhang 阅读(398) 评论(0) 推荐(0) 编辑

excel学习记录

摘要：突然来一个需求（从一张大表中筛选出一些数据），用到excel，可是上学时学的现在也都忘的差不多，在同事的帮忙下，重新整理下excel的函数，方便后续自己记录： 1.excel中查找数据的函数：参考：https://baike.baidu.com/item/VLOOKUP%E5%87%BD%E6%9 阅读全文

posted @ 2020-03-12 11:45 Yr-Zhang 阅读(318) 评论(0) 推荐(0) 编辑

MyBatis常用对象SqlSessionFactory和SqlSession介绍和运用

摘要： SqlSessionFactoryBuilder、SqlSessionFactory、SqlSession作用域（Scope）和生命周期 1、可以说每个MyBatis都是以一个SqlSessionFactory实例为中心的 SqlSessionFactory实例可以通过SqlSessionFacto 阅读全文

posted @ 2020-01-21 10:43 Yr-Zhang 阅读(1262) 评论(0) 推荐(0) 编辑

MyBatis初识（一）

摘要： MyBatis是什么： 1、MyBatis是一个优秀的持久层框架，它对jdbc的操作数据库的过程进行封装，使开发者只需要关注 SQL 本身，而不需要花费精力去处理例如注册驱动、创建connection、创建statement、手动设置参数、结果集检索等jdbc繁杂的过程代码。 2、Mybatis通过阅读全文

posted @ 2020-01-20 16:18 Yr-Zhang 阅读(205) 评论(0) 推荐(0) 编辑

A集群使用MR给B集群的HBase写数据出错

摘要： 20/01/07 10:40:48 INFO mapreduce.Job: map 91% reduce 0%20/01/07 10:40:50 INFO mapreduce.Job: map 94% reduce 0%20/01/07 10:40:51 INFO mapreduce.Job: ma 阅读全文

posted @ 2020-01-07 17:56 Yr-Zhang 阅读(630) 评论(0) 推荐(0) 编辑

查看oracle库中用户及其表的内存大小

摘要：某天小白我接到一个小小的一句话的任务，让我把目前项目的数据库所有表的大小统计下，其实这种操作对于你们大多数人可能都是随手拈来的事，但是我不行，所有就为自己做了一个简单记录。基本都百度上的，有问题之处请不吝赐教！！！ 1、某个表大小查询：以通过系统视图DBA_SEGMENTS、DBA_TABLES、阅读全文

posted @ 2019-12-12 13:41 Yr-Zhang 阅读(7056) 评论(0) 推荐(0) 编辑

☆☆☆★☆☆☆

导航

公告