文章分类 - Hadoop
摘要：Kibana在ES中，增加了三个索引，.apm-agent-configuration、.kibana_1、.kibana_task_manager_1 一个Elasticsearch集群可以包含多个索引，相应的每个索引可以包含多个类型。这些不同的类型存储着多个文档，每个文档又有多个属性 。 索引（
阅读全文
摘要：服务器（10.143.86.113）端安装ntp $ sudo apt install ntp $ sudo apt install ntpstat $ sudo vi /etc/ntp.conf #注释掉默认的远程服务器，因为内网连不上这些服务器 #pool 0.ubuntu.pool.ntp.o
阅读全文
摘要：nohup 的用途就是让提交的命令忽略 hangup 信号。& 用途：在后台运行nohup 的使用是十分方便的，只需在要处理的命令前加上 nohup 即可，标准输出和标准错误缺省会被重定向到 nohup.out 文件中。一般我们可在结尾加上"&"来将命令同时放入后台运行，也可用">filename
阅读全文
摘要：cts@cts-pc:~$ vi ~/.bashrc export http_proxy="http://username:password@proxyhk.hxxxxi.com:8080/" export https_proxy="http://username:password@proxyhk.
阅读全文
摘要：Q1：Spark出现解决Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 0 time(s);解决方案修改yarn-site.xml，添加下面内容 Q2：hadoop-2.7.7执行hadoop wordcount用例报错
阅读全文
摘要：先安装scala + hadoop 这里省略 下载spark安装包http://apache.communilink.net/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz 修改spark-env.sh 修改~/.bashrc 修改slaves 拷贝配
阅读全文
摘要：下载https://www.scala-lang.org/download/scala-2.12.8.tgz并解压 修改~/.bashrc 编写源代码文件HelloWorld.scala
阅读全文
摘要：Hbase特点HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与ha
阅读全文
摘要：eclipse 当做client连接zookeerper “help” =>"Install new software..." zookeeper-plugin - http://www.massedynamic.org/eclipse/updates/ 安装好后 “Window”=> "Show
阅读全文
摘要：ZooKeeper 是一个开源的分布式协调服务，由雅虎创建，是 Google Chubby 的开源实现。分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、配置维护，名字服务、分布式同步、分布式锁和分布式队列等功能。
阅读全文
摘要：1、hadoop：它是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用 2、hive：通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的功能，你可以通过该语句完成分布式环境下的计算功
阅读全文
摘要：0: jdbc:hive2://10.121.63.240:10000> CREATE TABLE pokes (foo INT, bar STRING); No rows affected (1.93 seconds) 0: jdbc:hive2://10.121.63.240:10000> show tables; +-----------+ | tab_name | +-------...
阅读全文
摘要：Hadoop + Hive + mysql hive是基于hadoop的一个数据仓库. 这里省略Hadoop环境的搭建。 将元数据存储在 RDBMS 中，一般常用 MySQL 和 Derby。默认情况下，Hive 元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。实际
阅读全文
摘要：将相关库导入eclipse工程即可 commons-cli-1.2.jarhadoop-common-3.2.0.jarhadoop-mapreduce-client-core-3.2.0.jar 用eclipse Export.. 为Runnable JAR fIle: wc2.jar
阅读全文
摘要：hadoop fs -help rm #产看某个命令的参数 Usage: hadoop fs -count [-q] [-h] [-v] [-x] [-t [<storage type>]] [-u] [-e] <paths>Count the number of directories, file
阅读全文
