摘要：
Spark算子总结（带案例） spark算子大致上可分三大类算子： 1、Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Value型的数据。 2、Key-Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是K 阅读全文
摘要：
Spark 介绍（基于内存计算的大数据并行计算框架） Spark 介绍（基于内存计算的大数据并行计算框架） Spark 介绍（基于内存计算的大数据并行计算框架） Hadoop与Spark 行业广泛使用Hadoop来分析他们的数据集。原因是Hadoop框架基于一个简单的编程模型（MapReduce）， 阅读全文
摘要：
如何将本地项目上传至GitHub 首先你需要一个github账号，所有还没有的话先去注册吧！ https://github.com/ 我们使用git需要先安装git工具，这里给出下载地址，下载后一路直接安装即可： https://git-for-windows.github.io/ 1.进入Gith 阅读全文
摘要：
Kafka内核中的分布式机制实现 一个Topic中的所有数据分布式的存储在kafka集群的所有机器(broker)上，以分区(partition)的的形式进行数据存储；每个分区允许存在备份数据/备份分区(存储在同一kafka集群的其它broker上的分区) 每个数据分区在Kafka集群中存在一个br 阅读全文
摘要：
Anaconda下载（改变了镜像路径，下载速度很快!!!） 使用conda install 包名 安装需要的Python非常方便，但是官方的服务器在国外，因此下载速度很慢，国内清华大学提供了Anaconda的仓库镜像，我们只需要配置Anaconda的配置文件，添加清华的镜像源，然后将其设置为第一搜索 阅读全文
摘要：
平台无关性 Java是与平台无关的语言，这得益于Java源代码编译后生成的存储字节码的文件，即Class文件，以及Java虚拟机的实现。不仅使用Java编译器可以把Java代码编译成存储字节码的Class文件，使用JRuby等其他语言的编译器也可以把程序代码编译成Class文件，虚拟机并不关心Cla 阅读全文
摘要：
JVM类加载过程 类从被加载到虚拟机内存中开始，到卸载出内存为止，它的整个生命周期包括：加载、验证、准备、解析、初始化、使用和卸载七个阶段。它们开始的顺序如下图所示： 其中类加载的过程包括了加载、验证、准备、解析、初始化五个阶段。在这五个阶段中，加载、验证、准备和初始化这四个阶段发生的顺序是确定的， 阅读全文
摘要：
端口占用问题解决办法（以1099端口为例） 最近在开发的时候，启动IDEA后，启动web工程报1099端口已经被占用了，现在将解决方法总结如下： 1.在windows命令行窗口下执行：C:\>netstat -aon|findstr "1099，然后查看输出结果，如下图： " 看到了吗，端口被进程号 阅读全文
摘要：
JVM垃圾回收算法（最全） 下面是JVM虚拟机运行时的内存模型： 1.方法区 Perm（永久代、非堆） 2.虚拟机栈 3.本地方法栈 （Native方法） 4.堆 5.程序计数器 1 首先的问题是：jvm如何知道那些对象需要回收 ？ 目前两种标识算法、三种回收算法、两种清除算法、三种收集器 引用计数 阅读全文
摘要：
Java多线程学习（总结很详细！！！） 此文只能说是java多线程的一个入门，其实Java里头线程完全可以写一本书了，但是如果最基本的你都学掌握好，又怎么能更上一个台阶呢？ 本文主要讲java中多线程的使用方法、线程同步、线程数据传递、线程状态及相应的线程函数用法、概述等。首先让我们来了解下在操作系 阅读全文