随笔分类 -  大数据课件

摘要:3 3 4 第一题:1.创建 hadoop 帐户。 2.setup.改 IP。 3.安装 java,并修改/etc/profile 文件,配置 java 的环境变量。 4.修改 Host 文件域名。 5.安装 SSH,配置无密钥通信。 6.解压 hadoop。 7.配置 conf 文件下 hadoo 阅读全文
posted @ 2020-10-19 16:36 十一vs十一 阅读(178) 评论(0) 推荐(0) 编辑
摘要:一、来自****提供的面试题(14** 道): 第一题:1.创建 hadoop 帐户。 2.setup.改 IP。 3.安装 java,并修改/etc/profile 文件,配置 java 的环境变量。 4.修改 Host 文件域名。 5.安装 SSH,配置无密钥通信。 6.解压 hadoop。 7 阅读全文
posted @ 2020-10-19 16:34 十一vs十一 阅读(498) 评论(0) 推荐(0) 编辑
摘要:阿里四轮面试总结 第一轮面试电话(**5** 月 6 号): 1.自我介绍,包括做过项目。 2.有看过哪些 JDK 源码,了解哪些常用库。 3.集合框架 HashMap 的扩容机制,ConcurrnetHashMap 的原理 4.jvm 内存模型与 gc 内存回收机制 5.classloader 结 阅读全文
posted @ 2020-10-19 16:33 十一vs十一 阅读(402) 评论(0) 推荐(0) 编辑
摘要:1.1. 导出时报错1.1.1. Could not buffer record在import的时候设置--inline-lob-limit <n> 设置内联的LOB对象的大小1.1.2. Packet for query is too large (1136885 > 1048576). You 阅读全文
posted @ 2020-10-19 16:29 十一vs十一 阅读(289) 评论(0) 推荐(0) 编辑
摘要:安装文档 1. 安装依赖 yum -y install gcc yum -y install gcc-c++ yum -y install ruby yum -y install rubygem* yum -y install ruby-rdoc yum -y install ruby-devel 阅读全文
posted @ 2020-10-19 16:26 十一vs十一 阅读(105) 评论(0) 推荐(0) 编辑
摘要:115个Java面试题和答案——终极列表(上) 2016-04-30 小马哥 java一日一条 本文我们将要讨论Java面试中的各种不同类型的面试题,它们可以让雇主测试应聘者的Java和通用的面向对象编程的能力。下面的章节分为上下两篇,第一篇将要讨论面向对象编程和它的特点,关于Java和它的功能的常 阅读全文
posted @ 2020-10-19 16:13 十一vs十一 阅读(66) 评论(0) 推荐(0) 编辑
摘要:1、面向对象的特征有哪些方面(1).抽象:抽象就是忽略一个主题中与当前目标无关的那些方面,以便更充分地注意与当前目标有关的方面。抽象并不打算了解全部问题,而只是选择其中的一部分,暂时不用部分细节。抽象包括两个方面,一是过程抽象,二是数据抽象。(2).继承:继承是一种联结类的层次模型,并且允许和鼓励类 阅读全文
posted @ 2020-10-19 16:08 十一vs十一 阅读(129) 评论(0) 推荐(0) 编辑
摘要:大数据工程师面试题 1. 选择题 1.1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode 1.2. HDfS 中的 block 默认保存几份 阅读全文
posted @ 2020-10-19 16:03 十一vs十一 阅读(513) 评论(0) 推荐(0) 编辑
摘要:RDD[T] Transformations rdd api 备注 persist/cache map(f: T => U) keyBy(f: T => K) 特殊的map,提key flatMap(f: T => Iterable[U]) map的一种,类似UDTF filter(f: T => 阅读全文
posted @ 2020-10-19 15:59 十一vs十一 阅读(134) 评论(0) 推荐(0) 编辑
摘要:RDD弹性分布式数据集 集合分布式的 1、最重要的特性:分区RDD究竟是如何分区? 从外部加载数据时,比如HDFS,分区数与HDFS的block数一致从内部的单机List中加载数据为RDD,parallelize(numpartition)从mysql等非内置支持的数据源加载数据,分区就取决于自定义 阅读全文
posted @ 2020-10-19 15:56 十一vs十一 阅读(165) 评论(0) 推荐(0) 编辑
摘要:本文主要了解Spark On YARN部署模式下的内存分配情况,因为没有深入研究Spark的源代码,所以只能根据日志去看相关的源代码,从而了解“为什么会这样,为什么会那样”。 说明 按照Spark应用程序中的driver分布方式不同,Spark on YARN有两种模式: yarn-client模式 阅读全文
posted @ 2020-10-19 15:54 十一vs十一 阅读(517) 评论(0) 推荐(0) 编辑
摘要:资源调度 程序一旦创建sparkcontext,就会创建DAGScheduler、TaskScheduler、SparkDeploySchedulerBackendSparkDeploySchedulerBackend一启动就会创建一个子actor:AppClientAppClient一启动,就会将 阅读全文
posted @ 2020-10-19 15:51 十一vs十一 阅读(157) 评论(0) 推荐(0) 编辑
摘要:Option[T] 详解 前言 Java 里的 Null Pointer Exception写过一阵子的Java后, 应该会对NullPointerException (NPE)这种东西很熟悉,基本上会碰到这种异常,就是你有一个变量是 null,但你却调用了它的方法,或是取某个的值。举例而言,下面的 阅读全文
posted @ 2020-10-19 15:50 十一vs十一 阅读(138) 评论(0) 推荐(0) 编辑
摘要:Spark配置参数说明 Spark提供三个位置用来配置系统: Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置 环境变量:可以通过每个节点的conf/spark-env.sh脚本设置,例如IP地址、端口等信息 日志配置:可以通过log4j.propert 阅读全文
posted @ 2020-10-19 15:38 十一vs十一 阅读(315) 评论(0) 推荐(0) 编辑
摘要:python数据类型详解 内容大纲 1、字符串 2、布尔类型 3、整数 4、浮点数 5、数字 6、列表 7、元组 8、字典 9、日期 1、字符串 1.1、如何在Python中使用字符串 a、使用单引号(') 用单引号括起来表示字符串,例如: str='this is string'; print s 阅读全文
posted @ 2020-10-19 15:36 十一vs十一 阅读(110) 评论(0) 推荐(0) 编辑
摘要:游戏运营分析项目 1. 课程目标 1.1. 熟练使用Spark解决实现生产问题 1.2. 熟悉游戏领域大数据分析相关概念 1.3. 掌握游戏领域大数据分析的步骤和方法 2. 项目背景 2.1. 概述 目前大数据已经在各个领域得到广泛应用,在游戏领域玩家的各种行为会产生大量的数据,这些数据可以帮助游戏 阅读全文
posted @ 2020-10-19 15:00 十一vs十一 阅读(116) 评论(0) 推荐(0) 编辑
摘要:Redis3集群安装 1. 什么是Redis Redis是目前一个非常优秀的key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set有序集合)和hash(哈希类型)。 2.  阅读全文
posted @ 2020-10-19 14:59 十一vs十一 阅读(73) 评论(0) 推荐(0) 编辑
摘要:1. 全文检索基础 1.1. 我们身边的搜索功能 Windows系统中的有搜索功能:打开“我的电脑”,按“F3”就可以使用查找的功能,查找指定的文件或文件夹。搜索的范围是整个电脑中的文件资源。 Eclipse中的帮助子系统:点击HelpàHelp Contents,可以查找出相关的帮助信息。搜索的范 阅读全文
posted @ 2020-10-19 14:52 十一vs十一 阅读(123) 评论(0) 推荐(0) 编辑
摘要:1.安装zk集群 2.config/server.properties添加zk地址:zookeeper.connect=node-1:2181,node-2:2181,node-3:2181修改broker.id(唯一的):broker.id=0 3.启动/bin/kafka-server-star 阅读全文
posted @ 2020-10-19 14:37 十一vs十一 阅读(63) 评论(0) 推荐(0) 编辑
摘要:Spark Streaming 1. 课程目标 1.1. 掌握Spark Streaming的原理 1.2. 熟练使用Spark Streaming完成流式计算任务 2. Spark Streaming介绍 2.1. Spark Streaming概述 2.1.1. 什么是Spark Streami 阅读全文
posted @ 2020-10-19 11:56 十一vs十一 阅读(81) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示