摘要：
转载自：http://blog.csdn.net/my_jack/article/details/69248495 IDEA开发工具是java语言开发的集成环境，IntelliJ在业界被公认为最好的java开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE支持、各类版本工具(git、sv 阅读全文
摘要：
转载自：http://blog.csdn.net/u014785687/article/details/73473769 打开git视图(window->show view)，搜索git，选择Git Repositories: 4、在下方视图中选择：Clone a Git repository: 5 阅读全文
摘要：
转载自：http://blog.csdn.net/fan510988896/article/details/56277822 Git有和Svn类似的功能。 我们想使用Eclipse上传项目到自己的GitHub上面该如何做呢？ 今天我成功上传了一个项目，在这里分享给大家。 首先需要在eclipse上面 阅读全文
摘要：
登陆后选择你需要删除的仓库 github如何删除一个仓库 在仓库的主界面的右边菜单栏选择settings github如何删除一个仓库 进入设置页面，一直往下拉，会发现一个红色的危险地区。。 找到delete github如何删除一个仓库 点击delete弹出确认页面 要自己输入一次名字进行确认删除 阅读全文
摘要：
转载至： http://www.cnblogs.com/yisheng163/p/4524808.html?utm_source=tuicool 前言：朋友们开始以下教程前，请先看第五大点的注意事项，以避免不必要的重复操作。 一、准备工作（以下为本实例使用工具） 1、MyEclipse10.7.1 阅读全文
摘要：
阅读全文
摘要：
阅读全文
摘要：
HADOOP与MPP是什么关系?有什么区别和联系? 适用范围、应用领域分别是什么? 其实MPP架构的关系型数据库与Hadoop的理论基础是极其相似的，都是将运算分布到节点中独立运算后进行结果合并。个人觉得区别仅仅在于前者跑的是SQL，后者底层处理则是MapReduce程序。 但是我们会经常听到对于M 阅读全文
摘要：
jdk1.5的新特性： 1. 泛型 ArrayList list=new ArrayList() >ArrayList<Integer>list=new ArrayList<Integer>(); 2 自动装箱/拆箱 nt i=list.get(0).parseInt(); >int i=list. 阅读全文
摘要：
转载自：http://blog.csdn.net/andycpp/article/details/1327147/ 本文绝大部分内容引自这篇文章： http://www.devx.com/Java/Article/31983/0/page/1 我们在编写大型程序的时候，需要写成千上万个方法或函数，这 阅读全文
摘要：
转载自：http://blog.csdn.net/andycpp/article/details/1327346 我们继续对初级篇中的例子进行分析。初级篇中我们使用Eclipse自动生成了一个测试框架，在这篇文章中，我们来仔细分析一下这个测试框架中的每一个细节，知其然更要知其所以然，才能更加熟练地应 阅读全文
摘要：
转载自：http://blog.csdn.net/andycpp/article/details/1329218 通过前 2 篇文章，您一定对 JUnit 有了一个基本的了解，下面我们来探讨一下 JUnit4 中一些高级特性。 一、 高级 Fixture 上一篇文章中我们介绍了两个 Fixture 阅读全文
摘要：
转载自：http://blog.csdn.net/relax_hb/article/details/69668815 简述 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱 阅读全文
摘要：
一、大数据通用处理平台 Spark Flink Hadoop 二、分布式存储 HDFS 三、资源调度 Yarn Mesos 四、机器学习工具 Mahout Spark Mlib TensorFlow (Google 系) Amazon Machine Learning DMTK (微软分布式机器学习 阅读全文
摘要：
近日网上有一篇关于Java程序员职场生存现状的文章“2017年 Java 程序员，风光背后的危机”，在Java程序员圈子里引起了广泛关注和热议。 2017年，Java 程序员面临更加激烈的竞争。 不得不承认，经历过行业的飞速发展期，互联网的整体发展趋于平稳。为什么这么说？为什么要放在 Java 程序 阅读全文
摘要：
转载自：http://blog.csdn.net/qqqqqq654/article/details/53204789 关于如何将Java Web上线，部署到公网，让全世界的人都可以访问的问题。小编将作出系列化，完整的流程介绍。 1.在myeclipse中开发好项目，打包成war格式，不会的同学参考 阅读全文
摘要：
这是一个关于池子的故事。有一个池子，它一头进水，另一头出水，进水口可以配置各种管子，出水口也可以配置各种管子，可以有多个进水口、多个出水口。水术语称为Event，进水口术语称为Source、出水口术语成为Sink、池子术语成为Channel，Source+Channel+Sink，术语称为Agent 阅读全文
摘要：
总体运行状况： 这里的每个批处理任务间隔是10s一次，所以Total Delay是14s，那么对于下一个批处理任务来说就是延迟了14 - 10 = 4s 。 Total Delay - 每个批处理任务设置的间隔 = Scheduling Delay Scheduling Delay + Proces 阅读全文
摘要：
转载自：http://blog.csdn.net/csolo/article/details/53694665 前面几篇实践说明了zookeeper如何配置和部署，如何开发，因为大多是后台操作，对于维护和产品项目管理人员来说太抽象。 下面介绍一下zookeeper的web客户端使用。 一、环境准备 阅读全文
摘要：
转载自：http://blog.csdn.net/sunny05296/article/details/54089194 安装HBase时，要考虑选择正确的Hadoop版本，否则可能出现不兼容的情况。 HBase各版本和Hadoop版本的支持情况，官方有相关说明，下面表格中： "S" = 支持 "X 阅读全文
摘要：
因为原先使用的c3p0链接池，时常出现：APPARENT DEADLOCK!!! Creating emergency threads for unassigned pending tasks，以及出现线程死锁的情况导致服务器经常需要重启，很是头疼。所以考虑使用Druid 链接池来代替原先的c3p0 阅读全文
摘要：
转载自：https://www.cnblogs.com/shuaixf/archive/2011/11/29/2268298.html ./configure --prefix=/usr/local/pgsql ..... configure: error: zlib library not fou 阅读全文
摘要：
转载自：https://www.cnblogs.com/kaituorensheng/p/4735191.html 1. 修改PostgreSQL数据库默认用户postgres的密码 PostgreSQL数据库创建一个postgres用户作为数据库的管理员，密码随机，所以需要修改密码，方式如下： 步 阅读全文
摘要：
转载自：http://blog.csdn.net/gitchat/article/details/78341484 GitChat 作者：Fickr孫啟誠 原文： 三个月大数据研发学习计划实战解析 关注微信公众号：「GitChat 技术杂谈」 一本正经的讲技术 【不要错过文末彩蛋】 申明： 本文旨在 阅读全文
摘要：
转载自：http://blog.csdn.net/zrc199021/article/details/54020692 关于所在节点核数怎么看？ # 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 # 查看物理CP 阅读全文
摘要：
转载自：http://www.cnblogs.com/bigbigtree/p/6908014.html 业务背景 通过实时抽取华为ESIGHT系统的wifi数据，与校园的学生数据、课程数据、地理位置数据等进行关联，进行校园大数据的流数据处理与分析。 技术选型 Kafka调用ESIGHT的resut 阅读全文
摘要：
转载自：https://www.cnblogs.com/LinBug/p/8082790.html Linux环境安装PostgreSQL-10.1 环境及资源 Linux版本：CentOS release 6.5 PostgresSQL版本：postgresql-10.1 PostgreSQL官网 阅读全文
摘要：
转载自：https://yq.aliyun.com/articles/228271 背景 PostgreSQL是一个强类型数据库，因此你输入的变量、常量是什么类型，是强绑定的，例如 在调用操作符时，需要通过操作符边上的数据类型，选择对应的操作符。 在调用函数时，需要根据输入的类型，选择对应的函数。 阅读全文
摘要：
本文转载自：https://tech.meituan.com/spark-tuning-pro.html 美团技术点评团队) Spark性能优化指南——高级篇 李雪蕤 ·2016-05-12 14:47 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spar 阅读全文
摘要：
本文转载自：http://tech.meituan.com/spark-tuning-basic.html (美团技术点评团队) Spark性能优化指南——基础篇 李雪蕤 ·2016-04-29 14:00 前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spar 阅读全文
摘要：
转载自：https://www.cnblogs.com/xing901022/p/6445254.html Spark有几种部署的模式，单机版、集群版等等，平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便，只能通过Log的形式进 阅读全文
摘要：
转载自：https://my.oschina.net/u/140462/blog/519409 执行时需要传入的参数说明 Usage: spark-submit [options] <app jar | python file> [app options] 参数名称 含义 --master MAST 阅读全文
摘要：
在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源 阅读全文
摘要：
转载自：https://www.cnblogs.com/haozhengfei/p/e19171de913caf91228d9b432d0eeefb.html Spark性能调优之合理设置并行度 1.Spark的并行度指的是什么？ spark作业中，各个stage的task的数量，也就代表了spar 阅读全文
摘要：
转载自：http://bigdata.51cto.com/art/201704/536499.htm Spark程序运行常见错误解决方法以及优化 task倾斜原因比较多，网络io,cpu,mem都有可能造成这个节点上的任务执行缓慢，可以去看该节点的性能监控来分析原因。以前遇到过同事在spark的一台 阅读全文
摘要：
CPU各核负载量很不均匀，内存也没有用满，系统的资源没有得到充分利用，该如何利用？ (1)Spark的RDD的partition个数创建task的个数是对应的; (2)Partition的个数在hadoop的RDD中由block的个数决定的。 内存：系统总内存数 = work内存大小 * work数 阅读全文
摘要：
转载自：https://www.cnblogs.com/hadoop-dev/p/6669232.html spark分区数,task数目,core数,worker节点个数,excutor数量梳理 作者：王燚光 链接：https://www.zhihu.com/question/33270495/a 阅读全文
摘要：
转载自：http://blog.csdn.net/xueba207/article/details/51135423 问题描述 笔者使用spark streaming读取Kakfa中的数据，做进一步处理，用到了KafkaUtil的createDirectStream()方法；该方法不会自动保存top 阅读全文
摘要：
转载自：https://www.cnblogs.com/yucy/p/7845105.html MySQL数据实时增量同步到Kafka - Flume 写在前面的话 需求，将MySQL里的数据实时增量同步到Kafka。接到活儿的时候，第一个想法就是通过读取MySQL的binlog日志，将数据写到Ka 阅读全文
摘要：
转载自：https://www.cnblogs.com/liango/p/7116620.html Hadoop的单机模式、伪分布式模式和完全分布式模式 转载自：http://blog.csdn.net/vbskj/article/details/46753305 Hadoop三种安装模式：单机模式 阅读全文