tneduts - 博客园

yarn nodes label (yarn 划分子集群)

摘要： yarn node labels 特性给节点打标签可以把特性类似的节点分成一组,这样可以指定特定的应用执行在特定的机器群上.现在我们只支持节点划分,1.一个节点仅能有一个节点划分,即一个节点只能打一个标签.这样一个集群就可以被划分成多个不相交的子集群,默认的,节点属于一个叫default的分区.2. 阅读全文

posted @ 2017-09-16 11:17 tneduts 阅读(919) 评论(0) 推荐(0) 编辑

Hbase学习笔记

摘要：表存储的内容本身上没有类型,都是字节数组.存储的每一条数据都有一个行键,根据行键来划分给对应的regionserver来负责.它是面向列的存储,具体来说是面向列族的存储,每一个列族的数据,根据rowkey进行分发,分给特定的region.Hbase 是面向列族存储的，同属一个列族的数据是存在一起的。阅读全文

posted @ 2017-09-12 08:25 tneduts 阅读(466) 评论(0) 推荐(0) 编辑

yarn 与 resource manager ha

摘要： YARN最初的思想是把hadoop1中的job tracker的功能拆分出来,把它的资源管理与任务调度功能分成两个单独的进程.yarn体系结构中有两个进程,resource manager和nodemanger.前者主要负责资源分配,后者nodemanager在每一个机器中都有一个进程,负责cont 阅读全文

posted @ 2017-09-12 08:20 tneduts 阅读(689) 评论(0) 推荐(0) 编辑

maven shade插件小记

摘要： maven shade plugin插件小用项目中一直使用assembly插件来整合依赖包到一个胖jar,在做这个akka http项目的时候,在scala ide的run/debug中都执行正常,打包后执行就一直报报不到configuration项目的问题. 判断是assembly在解压合并相关阅读全文

posted @ 2017-09-08 15:16 tneduts 阅读(824) 评论(0) 推荐(0) 编辑

mysql调优小记

摘要：对于INNODB,主键就是聚集索引,如果没有主键定义,则第一个唯一非空索引被作为聚集索引.如果没有主键也没有合适的唯一索引,那么innodb内部会生成一个隐藏的主键作为聚集索引,这个隐藏的主键类似一个自增的id(int).删除与重新添加主键alter table tbname drop primar 阅读全文

posted @ 2017-08-25 21:16 tneduts 阅读(189) 评论(1) 推荐(0) 编辑

CDH5离线安装简记

摘要： CDH,hadoop 阅读全文

posted @ 2017-08-19 18:11 tneduts 阅读(232) 评论(1) 推荐(0) 编辑

摘要：在项目中使用到hdfs作为存储，为了在不同的节点加载hdfs上的数据，我们使用nfsv3服务，在客户端使用 root来mount hdfs上的数据到本地，然后把本地的数据发到hdfs上，因为这个我们的集群namenode是HA的，所以在mount前，需要确认active的namenode,而且比较不爽的事，如果客户端的机器/etc/hosts中需要配置所有的datanodes机器信息。后来找到... 阅读全文

posted @ 2017-08-13 21:13 tneduts 阅读(2622) 评论(0) 推荐(0) 编辑

spark-sql做ETL时遇到的两个问题

摘要：项目中使用spark-sql来作ETL，遇到两个问题，记录一下。问题1： spark-sql –master yarn –hiveconf load_date=`date –d ..` -e ‘insert overwrite table tbl(.) select distinct * from tbl” 在hdfs上这个表所在的目录下面会产生很多的类似.hive-s... 阅读全文

posted @ 2017-08-10 13:41 tneduts 阅读(1287) 评论(0) 推荐(0) 编辑

zookeeper基础知识

摘要： Zookeeper 不仅能够帮你维护当前的集群中机器的服务状态，而且能够帮你选出一个“总管”，让这个总管来管理集群，这就是 Zookeeper 的另一个功能 Leader Election。配置管理（Configuration Management）配置的管理在分布式应用环境中很常见，例如同一个应用阅读全文

posted @ 2017-05-20 21:15 tneduts 阅读(223) 评论(0) 推荐(0) 编辑

spark streaming基础知识1

摘要： 1.怎么理解spark streaming中的dstream? 它是spark streaming的基础数据结构,代表着(time,RDD)序列,有两种生成方式,一种是基于流数据创建(kafka,socket...),一种是基于已有的dstream进行转换产生.在spark streaming作业运阅读全文

posted @ 2017-05-20 12:30 tneduts 阅读(318) 评论(2) 推荐(0) 编辑

scala和正则表达式常用基础知识示例

摘要： http://www.cnblogs.com/deerchao/archive/2006/08/24/zhengzhe30fengzhongjiaocheng.html. 匹配除换行符以外的任意字符\w 匹配字母或数字或下划线或汉字\s 匹配任意的空白符\d 匹配数字\b 匹配单词的开始或结束^ 匹阅读全文

posted @ 2017-05-20 07:31 tneduts 阅读(689) 评论(0) 推荐(0) 编辑

有关RDD的基础学习1

摘要： 1.spark rdd为什么不能嵌套? 譬如 val rdd1=sc.parallel(range(1,100)) val rdd2=sc.parallel(range(1,100)) rdd1.map(x=>rdd.count()) 因为rdd的构造器中rdd(@trancient sc:Spar 阅读全文

posted @ 2017-05-18 21:50 tneduts 阅读(335) 评论(0) 推荐(0) 编辑

JAVA中hashmap的分析

摘要：从http://blog.csdn.net/luanlouis/article/details/41576373?utm_source=tuicool&utm_medium=referral 学习到了java中hashmap的内部原理,非常不错的文章,非常感谢作者的奉献.以下为主要内容摘录. jav 阅读全文

posted @ 2017-05-17 08:07 tneduts 阅读(271) 评论(0) 推荐(0) 编辑

关于ldap的学习

摘要：主要从以下网站学习了相关基础知识概念,安装与基本配置. http://www.aikaiyuan.com/8269.htmlhttps://segmentfault.com/a/1190000002607140http://www.xuexikuai.com/html/201612/247991.h 阅读全文

posted @ 2017-05-13 09:52 tneduts 阅读(296) 评论(0) 推荐(0) 编辑

hdp (ambari) 集成hue

摘要： ambari-server resetambari-admin-password-reset https://github.com/EsharEditor/ambari-hue-service可以基于HDP来访问HUE,暂时没有做尝试我尝试了,使用hdp自带的hue rpm包来安装,直接yum i 阅读全文

posted @ 2017-05-03 16:48 tneduts 阅读(4322) 评论(1) 推荐(0) 编辑

Hive的metastore

摘要： hive --service metastore 默认端口是9083 <property> <name>hive.metastore.uris</name> <value>thrift://hiveserver1:9083</value> </property> 在连接hive的客户端,如spark 阅读全文

posted @ 2017-04-18 23:13 tneduts 阅读(373) 评论(0) 推荐(0) 编辑

windows 常用cmd命令

摘要：为了减少使用鼠标的频次，熟记一些常用应用的快捷键与系统本身常用的命令是必须的，以下记录一些常用的windows系统命令。查看网络端口占用情况：netstat -ano | findstr 8080列出任务列表 tasklist |findstr 920根据应用名称杀死任务 taskkill /f 阅读全文

posted @ 2017-02-26 07:56 tneduts 阅读(413) 评论(1) 推荐(0) 编辑

HDFS datanode心跳与运维中的实际案例

摘要：分布式系统的节点之间常采用心跳来维护节点的健康状态，如yarn的rm与nm之间，hdfs的nn与dn之间。DataNode会定期（dfs.heartbeat.interval配置项配置，默认是3秒）向namenode发送心跳，如果Namenode长时间没有接受到datanode发送的心跳，我们在50 阅读全文

posted @ 2017-02-14 09:45 tneduts 阅读(1888) 评论(0) 推荐(0) 编辑

scala drools and map

摘要：需求，安全检查，例如Linux系统，用户安全检查，配置项检查等，这些检查的规则在Drools里面去实现，数据传送过来即可，问题：如何定义数据结构，不同的检查项会有不同的数据结构，如何规范呢？思路：使用map嵌套的思路，检查的数据输出过来是json的格式发送到kafka,然后spark streaming程序直接读取json,然后转为map进行处理。遇到的问题，一开始代码是使用scala.... 阅读全文

posted @ 2017-02-07 17:49 tneduts 阅读(1258) 评论(0) 推荐(0) 编辑

hadoop nn 运维一例

摘要： nn1 崩溃之后，nn2变为active，但是nn1日志中有异常，处于standby状态的，无法响应读的操作最后查出原因是因为fensing的问题。阅读全文

posted @ 2017-02-07 10:43 tneduts 阅读(325) 评论(0) 推荐(0) 编辑

Eclipse 多行注释选择

摘要： 1.Eclipse 中的多行注释选择与清除 (?s)\/\*\*.*?\*\/ (?s)可以匹配多行 \/\*\*表示以/**开头匹配类似 /** * * * * asdfasdf */ 阅读全文

posted @ 2017-02-01 21:53 tneduts 阅读(380) 评论(0) 推荐(0) 编辑

JSP SERVLET 基础知识

摘要： jsp(java server page)和servlet是JAVA EE规范的两个基本成员，是JAVA WEB开发的重点也是基础知识。JSP本质上也需要编译成SERVLET运行。 JSP比较简单，可以理解为在HTML页面中嵌入JAVA代码，或使用各种JSP标签，再辅以各种JAVA BEAN. Servlet 在MVC规范出来以后，仅仅作为... 阅读全文

posted @ 2017-01-31 21:01 tneduts 阅读(335) 评论(0) 推荐(0) 编辑

记录一次代码错误，elastic search的INDEX需要使用小写字母

摘要： Caused by: org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot determine write shards for [CC-2017.01.24/compliance]; likely its format 阅读全文

posted @ 2017-01-24 19:34 tneduts 阅读(2278) 评论(1) 推荐(0) 编辑

HIVE大数据出现倾斜怎么办

摘要： hive在跑数据时经常会出现数据倾斜的情况，使的作业经常reduce完成在99%后一直卡住，最后的１%花了几个小时都没跑完，通过YARN的管理界面配合日志，可以清楚其中的具体原因，这种情况就很可能是数据倾斜的原因，解决方法要根据具体情况来选择具体的方案 1.如果你知道某些字段造成的倾斜，可以把这些字段抽出来单独处理，这样的话，MR会多分配几个实例，提高执行速度。 2. set h... 阅读全文

posted @ 2017-01-11 22:52 tneduts 阅读(547) 评论(0) 推荐(0) 编辑

Hadoop性能调优

摘要： 1 硬件选择主要区分NAMENODE与DATANODE的功能需求，NN维护全局元数据信息，随着保存的INODES数量的增加，对内存需求增加，按每一百万INODES一G来粗略计算，JVM的XMX参数需要动态调整。 2 OS参数调优操作系统，生产环境中都使用LINUX，以下就是指对LINUX系统的参数调优。 A.增加同时打开的文件描述符和网络连接上限在系统运行中，随着接受作业数量的增加... 阅读全文

posted @ 2017-01-10 21:07 tneduts 阅读(2751) 评论(0) 推荐(0) 编辑

hortonworks2.5.3 install step log

摘要： 1.创建本地YUM源，下载TAR。GZ HDP，HDP－UTILS，AMBARI介质安装HTTPD，在／VAR／WWW／HTML／下创建三个相应的目录，把以上解压的三个目录链接过来在三个目录中执行命令，createrepo ./至此，本地YUM源创建完毕。 cd /etc/yum.repos.d/ 阅读全文

posted @ 2017-01-03 10:58 tneduts 阅读(287) 评论(0) 推荐(0) 编辑

项目笔记

摘要： 1.SPARK－SQL 执行几个集市表的ETL报错，出错为空指针异常，推断的表中数据内容有问题，同事重新生成一HIVE表后导入数据，问题消除，未找到根本原因 2.SQOOP提交时按队列 sqoop -D mapred.job.queue.name=queuename SQOOP通过METASTORE 阅读全文

posted @ 2016-12-29 18:33 tneduts 阅读(460) 评论(0) 推荐(0) 编辑

centos 7 install python spynner

摘要： yum install python-devel yum install libXtst-devel pip install autopy pip install spynner import spynnerImportError: No module named QtWebKityum insta 阅读全文

posted @ 2016-10-31 09:26 tneduts 阅读(364) 评论(0) 推荐(0) 编辑

hdfs client access the hdfs cluster not in one domain

摘要： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsMultihoming.html#Clients_use_Hostnames_when_connecting_to_DataNodes sometimes when you access your hadoop cluster outside the... 阅读全文

posted @ 2016-10-28 14:47 tneduts 阅读(384) 评论(0) 推荐(0) 编辑

shell parameter expansitions

摘要： type testtype -a testmath calculate:echo $((1+2*3))parameter expansition:bash-4 introduced features:var=studentecho ${var^} //Studentecho ${var^^} //S 阅读全文

posted @ 2016-10-25 10:48 tneduts 阅读(214) 评论(0) 推荐(0) 编辑

DOM document object model learn

摘要： DOM对W3C DOM而言，HTML文档中任何一样东西都是一个节点，而且节点之间是有层次的。如<p>I am a JavaScript hacker.</p>有两个节点，一个是P标签的元素节点，一个是文字节点，P节点包含文本节点。按照这样的节点层次，所有节点构成了一棵文档树。节点类型文档节点 nod 阅读全文

posted @ 2016-10-24 14:48 tneduts 阅读(224) 评论(0) 推荐(0) 编辑

BOM与事件

摘要： PPK谈JS学习笔记第二弹 JS的语言核心和DOM之间有一个过渡层，一般称为BOM，浏览器对象模型。是指JS的客户端实现，它不操作DOM，又不是JS的语言核心，它的主要功能是管理浏览器窗口，每个窗口都有各自独立的WINDOW对象，并使得它们可以彼此通信，window对象是BOM的核心。为了访问HTM 阅读全文

posted @ 2016-10-23 11:08 tneduts 阅读(1639) 评论(1) 推荐(0) 编辑

PPK谈JS笔记第一弹

摘要：以下内容是读书笔记，再一次温习JS好书：PPK谈JS window.load＝initializePageaddEventSimple('window','load',function(){})load事件在页面被完成加载时触发，显然这正是我们初始化脚本所需要的。问题是如果同时批量初始化，可能会发生阅读全文

posted @ 2016-10-22 19:00 tneduts 阅读(251) 评论(0) 推荐(0) 编辑

使用expect scp避免直接输密码

摘要：需求：现在有一百多台的机器，都是使用用户名密码登录做一些运维操作，不想因为密码变更造成管理上的一些麻烦，所以改为通过密钥文件的方式进行登录，需要提前做一些准备工作，把准备好的。SSH文件复制到各机器的特定用户目录下。操作：需要使用到EXPECT或者SSHPASS。这里选择EXPECT为例：保存为阅读全文

posted @ 2016-10-20 10:10 tneduts 阅读(2399) 评论(2) 推荐(0) 编辑

JSCH通过密钥文件进行远程访问

摘要：需求：WEB app 需要使用JSCH来通过密钥文件的方式进行SFTP/SSH访问远程LINUX机器实现方式：假设远程机器都含有用户名为hadoop的用户，因为密码因为策略的要求密码会随时间发生变化，所以希望使用密钥的方式进行访问机器，这样不会因为密码的变化而无法访问远程机器。基本原理：SSH访问，被访问的机器首先需要启动SSHD服务，然后通过SSH-KEYGEN 默认生成RSA的公私密钥... 阅读全文

posted @ 2016-10-08 15:44 tneduts 阅读(11011) 评论(0) 推荐(1) 编辑

opentsdb basic install

摘要： git clone git://github.com/OpenTSDB/opentsdb.git cd opentsdb ./build.sh env COMPRESSION=NONE HBASE_HOME=/data/hbase123 ./src/create_table.sh 在生产环境中，最好设定一种压缩格式，如LZO，GZIP，SNAPPY。 ./src/open... 阅读全文

posted @ 2016-10-02 10:28 tneduts 阅读(192) 评论(0) 推荐(0) 编辑

ＣＥＮＴＯＳ安装ＸＸＮＥＴ

摘要： centos7 运行ＸＸＮＥＴ时报错，需要安装ＰＹＳＳＬ，请执行这个命令即可。之前一直尝试使用ＣＥＮＴＯＳ６。８安装，蓝灯或ＸＸＮＥＴ都不成功，原因是系统的库文件太旧。 FQ有瘾阅读全文

posted @ 2016-09-29 09:57 tneduts 阅读(1516) 评论(0) 推荐(0) 编辑

mysql5.7 root password change

摘要： mysqld_safe --skip-grant-tables &update mysql.user set authentication_string=password('Root_1234') where user='root';flush privilegeskillall -TERM mys 阅读全文

posted @ 2016-09-20 14:41 tneduts 阅读(231) 评论(5) 推荐(0) 编辑

spark standalone ha spark submit

摘要： when you build a spark standalone ha cluster, when you submit your app, you should send it to the leader master, not the standby master, how to decide 阅读全文

posted @ 2016-09-19 15:45 tneduts 阅读(249) 评论(0) 推荐(0) 编辑

Centos7 and docker practices

摘要： 1. Failed to get D-Bus connection: Operation not permitted error when you execute the systemctl start sshd or start other service, maybe you will encounter this error. this is a bug for Centos7, i... 阅读全文

posted @ 2016-09-16 16:14 tneduts 阅读(345) 评论(10) 推荐(0) 编辑

导航

公告