03 2019 档案

摘要:线程同步 一、线程安全问题 如果你的代码所在的进程中有多个线程在同时运行,而这些线程可能会同时运行这段代码。如果每次运行结果和单线程运行的结果是一样的,而且其他的变量的值也和预期的是一样的,就是线程安全的。 线程安全问题往往发生在多个线程调用同一方法或者操作同一变量,但是我们要知道其本质就是CPU对 阅读全文
posted @ 2019-03-25 12:03 技术小白丁 阅读(206) 评论(0) 推荐(0) 编辑
摘要:一、线程生命周期 线程被创建启动以后,他既不是一启动就进入执行状态,也不是一直处于执行状态,在线程的生命周期中,它要经过新建(New)、就绪(Runnable)、运行(Running)、阻塞(Blocked)和死亡(Dead)五种状态 1、新建状态 当程序使用new关键字创建了一个线程后,该线程就处 阅读全文
posted @ 2019-03-25 11:59 技术小白丁 阅读(212) 评论(0) 推荐(0) 编辑
摘要:一、基础概念 1、进程和线程 进程:每个进程都有独立的代码和数据空间(进程上下文),进程间的切换会有较大的开销,一个进程包含1--n个线程。(进程是资源分配的最小单位) 线程:同一类线程共享代码和数据空间,每个线程有独立的运行栈和程序计数器(PC),线程切换开销小。(线程是cpu调度的最小单位) 2 阅读全文
posted @ 2019-03-20 10:06 技术小白丁 阅读(181) 评论(0) 推荐(0) 编辑
摘要:一、简介 Java 8 中的 Stream 是对集合(Collection)对象功能的增强,它专注于对集合对象进行各种非常便利、高效的聚合操作,或者大批量数据操作 。 Stream API 借助于同样新出现的 Lambda 表达式,极大的提高编程效率和程序可读性。 同时它提供串行和并行两种模式进行汇 阅读全文
posted @ 2019-03-20 10:04 技术小白丁 阅读(433) 评论(0) 推荐(0) 编辑
摘要:一、Lambda表达式 1)函数式接口 函数式接口(Functional Interface)是只包含一个方法的抽象接口。 比如Java标准库中的java.lang.Runnable,java.util.concurrent.Callable就是典型的函数式接口。 在Java 8中通过@Functi 阅读全文
posted @ 2019-03-20 10:03 技术小白丁 阅读(445) 评论(0) 推荐(0) 编辑
摘要:Annotation(注解) JDK5开始,java增加了对元数据(MetaData)的支持,也就是Annotation(注解)。通过使用Annotation,开发人员在不改变原有逻辑的情况下,在源文件中嵌入一些补充的信息,用于对代码进行说明。Annotation 可以对包、类、接口、字段、方法参数 阅读全文
posted @ 2019-03-20 10:01 技术小白丁 阅读(287) 评论(0) 推荐(0) 编辑
摘要:一、yarn产生背景 1) 源于MRv1的缺陷:扩展性受限、单点故障、难以支持MR之外的计算框架; 2) 多计算框架各自为战,数据共享困难,资源利用率低; MR: 离线计算框架 Storm:实时计算框架 Spark:内存计算框架 催生了YARN的产生 二、yarn架构 1、ResourceManag 阅读全文
posted @ 2019-03-18 09:40 技术小白丁 阅读(401) 评论(0) 推荐(0) 编辑
摘要:1、HDFS写流程 客户端要向HDFS写数据,首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode,然后,客户端按顺序将文件逐个block传递给相应datanode,并由接收到block的datanode负责向其他datanode复制block的副本 1)跟NN通信 阅读全文
posted @ 2019-03-18 09:39 技术小白丁 阅读(8449) 评论(0) 推荐(2) 编辑
摘要:第一种、shell交互 官方文档:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/FileSystemShell.html 例子: 1、 hdfs dfs - 阅读全文
posted @ 2019-03-18 09:38 技术小白丁 阅读(374) 评论(0) 推荐(0) 编辑
摘要:从jdk1.4开始,java提供了一系列改进的输入/输出处理的新功能,这些功能被统称为新IO(New IO,简称NIO),这些类都被放在java.nio包以及子包中,并且对原java.io包中的很多类都以NIO为基础进行了改写,新增了满足NIO的功能。 一、Buffer 与Buffer各种相关的类主 阅读全文
posted @ 2019-03-15 11:07 技术小白丁 阅读(324) 评论(0) 推荐(0) 编辑
摘要:对象序列化的目标是将对象保存在磁盘中或者允许在网络中直接传输对象。对象序列化机制循序把内存中的java对象转换成平台无关的二进制流,从而允许把这种二进制流持久的保存在磁盘上,通过网络将这种二进制流传输到另一个网络节点。其他程序一旦获得了这种二进制流,都可以将这种二进制流恢复成原来的java对象。 对 阅读全文
posted @ 2019-03-15 11:05 技术小白丁 阅读(201) 评论(0) 推荐(0) 编辑
摘要:Java的IO流是实现输入、输出的基础,它可以方便的实现数据的输入输出操作。在Java中把不同的输入输出源(键盘、文件、网络连接)抽象表述为流(stream)。通过流可以使java程序使用相同的方式访问不同的输入输出源。 一、流的分类 1、按照流的流向分:输入流和输出流 输入流:只能从中读取数据,不 阅读全文
posted @ 2019-03-15 11:04 技术小白丁 阅读(342) 评论(0) 推荐(0) 编辑
摘要:File类是java.io包下代表与平台无关的文件及目录,程序操作文件和目录都可以通过File类来完成。值得指出的是,不管是文件还是目录都可以通过File类来操作。File能新建、删除、重命名文件和目录。File本身不能访问文件本身内容。如果需要访问文件内容,则需要输入输出流。 File类测试: 文 阅读全文
posted @ 2019-03-15 11:03 技术小白丁 阅读(245) 评论(0) 推荐(0) 编辑
摘要:Greenplum安装总结 一、环境说明 服务器centos7 4台,一台Master节点,三台Segment节点: mdw 192.168.43.21 (master节点) sdw1 192.168.43.22 (segment节点,包含两个primary segment,两个mirror seg 阅读全文
posted @ 2019-03-14 09:36 技术小白丁 阅读(7352) 评论(0) 推荐(1) 编辑
摘要:Greenplum简介 Greenplum是一种基于PostgreSQL的分布式数据库,其采用shared-nothing架构,主机、操作系统、内存、存储都是自我控制的,不存在共享。 本质上讲Greenplum是一个关系型数据库集群. 它实际上是由数个独立的数据库服务组合成的逻辑数据库。与RAC不同 阅读全文
posted @ 2019-03-14 09:28 技术小白丁 阅读(1808) 评论(0) 推荐(0) 编辑
摘要:HDFS linux安装总结(基于hadoop-2.6.0-cdh5.7.0 伪分部安装) 1、jdk安装 1) 直接下载jdk包放到安装目录即可(jdk-8u131-linux-x64.tar.gz解压到安装目录) 2)配置环境变量 直接在 .bash_profile配置 export JAVA_ 阅读全文
posted @ 2019-03-14 09:03 技术小白丁 阅读(236) 评论(0) 推荐(0) 编辑
摘要:一、hdfs介绍 官网说明 Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.(提供对应用程序数据的高吞 阅读全文
posted @ 2019-03-14 08:57 技术小白丁 阅读(221) 评论(0) 推荐(0) 编辑
摘要:一个lucene创建索引和查找索引的样例: 创建索引: 查找索引: 阅读全文
posted @ 2019-03-13 14:06 技术小白丁 阅读(239) 评论(0) 推荐(0) 编辑
摘要:lucene中重要的类: IndexWriter:lucene中最重要的类之一,主要用于索引的创建 Analyzer(抽象类):分析器,主要用于分析文本,常用的有StandardAnalyzer分析器,StopAnalyzer分析器,WhitespaceAnalyzer分析器等 标准分析器的功能如下 阅读全文
posted @ 2019-03-13 14:05 技术小白丁 阅读(308) 评论(0) 推荐(0) 编辑
摘要:Lucene 是一个基于 Java 的全文信息检索工具包,它不是一个完整的搜索应用程序,而是为你的应用程序提供索引和搜索功能。Lucene 目前是 Apache Jakarta 家族中的一个开源项目。也是目前最为流行的基于 Java 开源全文检索工具包。 下图描述了全文检索的流程(来源《Lucene 阅读全文
posted @ 2019-03-13 14:03 技术小白丁 阅读(137) 评论(0) 推荐(0) 编辑
摘要:mysql 在centos7上安装 环境 CentOS 7.1 (64-bit system) MySQL 5.6.24 CentOS 安装 参考:http://www.waylau.com/centos-7-installation-and-configuration/ 依赖 MySQL 依赖 l 阅读全文
posted @ 2019-03-13 14:00 技术小白丁 阅读(382) 评论(0) 推荐(0) 编辑
摘要:在Java的java.lang.reflect包下提供了一个Proxy类和一个InvocationHandler接口。通过这个类和接口可以生成JDK动态代理类或动态代理对象。 JDK动态代理例子: JDK动态代理源码分析: 生产代理类主要是通过:Proxy.newProxyInstance方法: 阅读全文
posted @ 2019-03-13 13:59 技术小白丁 阅读(842) 评论(0) 推荐(0) 编辑
摘要:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定 Kettle 的主作者是 Matt ,他在 2003 年就开始了这个项目,在 PDI 的代码里就可以看到最早的日期大概在2003年4月。 从版本2.2开始, Kettle 项目进 阅读全文
posted @ 2019-03-13 13:54 技术小白丁 阅读(1011) 评论(0) 推荐(0) 编辑
摘要:由于RestTemplate的默认构造方法初始化的StringHttpMessageConverter的默认字符集是ISO-8859-1,所以导致RestTemplate请求的响应内容会出现中文乱码。 解决办法: springboot中@Bean配置的时候要把StringHttpMessageCon 阅读全文
posted @ 2019-03-13 13:50 技术小白丁 阅读(3834) 评论(0) 推荐(0) 编辑
摘要:●exchange方法提供统一的方法模板进行四种请求:POST,PUT,DELETE,GET (1)POST请求 (2)PUT请求 (3)DELETE请求 (4)GET请求 阅读全文
posted @ 2019-03-13 13:48 技术小白丁 阅读(61635) 评论(1) 推荐(0) 编辑
摘要:●PUT请求:在RestTemplate中,PUT请求可以通过put方法调用,put方法的参数和前面介绍的postForEntity方法的参数基本一致,只是put方法没有返回值而已。举一个简单的例子,如下:(缺点:没有返回值,不能得到接口的返回) @RequestMapping("/hello7/{ 阅读全文
posted @ 2019-03-13 13:40 技术小白丁 阅读(9930) 评论(0) 推荐(0) 编辑
摘要:●post请求:在RestTemplate中,POST请求可以通过如下三个方法来发起,但post提交方式又有两种 formData 和 payLoad,而且接口设计与传统的浏览器使用的提交方式又有差异.所以很容易产生混淆。 formData和payLoad的区别: 当POST请求的请求头里设置Con 阅读全文
posted @ 2019-03-13 13:39 技术小白丁 阅读(20851) 评论(0) 推荐(0) 编辑
摘要:一,简介:Spring RestTemplate 是 Spring 提供的用于访问 Rest 服务的客户端,RestTemplate 提供了多种便捷访问远程Http服务的方法,能够大大提高客户端的编写效率 二、RestTemplate中几种常见请求方法的使用 ●get请求:在RestTemplate 阅读全文
posted @ 2019-03-13 13:37 技术小白丁 阅读(34362) 评论(0) 推荐(0) 编辑
摘要:grep,egrep,fgrep grep:根据模式搜索文本,并将符合模式的文本行显示出来 grep [OPTIONS] PATTERN [FILE...] -i:忽略大小写 --color:以高亮颜色显示 -v:显示没有被模式匹配的行 -o:只显示被匹配到的字符串 -E:使用扩展正则表达式 -A 阅读全文
posted @ 2019-03-13 13:35 技术小白丁 阅读(338) 评论(0) 推荐(0) 编辑
摘要:JAVA反射机制是在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法;对于任意一个对象,都能够调用它的任意方法和属性;这种动态获取信息以及动态调用对象方法的功能称为java语言的反射机制。 Java是一门面向对象语言,万物皆对象。对象是由类new出来的。例如我们有一个Dog类: publ 阅读全文
posted @ 2019-03-12 18:18 技术小白丁 阅读(255) 评论(0) 推荐(0) 编辑
摘要:sed命令:数据流编辑器(文本编辑器,逐行处理文本,行编辑器)并不直接处理文本,先把内容逐行读到内存中,然后处理后显示屏幕。 sed [options] 'AddressCommand' file...(对file文件Address行执行Command命令) -n:静默模式,不再默认显示默认空间中的 阅读全文
posted @ 2019-03-12 18:09 技术小白丁 阅读(189) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示