02 2019 档案

大叔经验分享（37）CM清理磁盘空间
摘要：定期清理cloudera manager server的磁盘空间 1 停止Service Monitor和Host Monitor 2 删除日志 # /bin/rm /var/lib/cloudera-host-monitor/ts/*/partition*/* -rf# /bin/rm /var/ 阅读全文
posted @ 2019-02-27 09:45 匠人先生 阅读(1891) 评论(0) 推荐(1) 编辑
大叔经验分享（36）CM部署kafka
摘要：1 下载kafka parcel http://archive.cloudera.com/kafka/parcels/latest/KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcelKAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1 # mv KAF 阅读全文
posted @ 2019-02-26 22:12 匠人先生 阅读(914) 评论(0) 推荐(1) 编辑
大叔经验分享（35）lzo格式支持
摘要：建表语句 CREATE EXTERNAL TABLE `my_lzo_table`(`something` string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS INPUTFORMAT 'com.hadoop.mapred.D 阅读全文
posted @ 2019-02-26 18:24 匠人先生 阅读(2125) 评论(0) 推荐(1) 编辑
大数据基础之Benchmark（1）HiBench
摘要：HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 简介 HiBench is a big data benchmark suite that helps evaluate different big data frameworks in te 阅读全文
posted @ 2019-02-26 11:45 匠人先生 阅读(1921) 评论(0) 推荐(1) 编辑
大叔经验分享（34）hive中文注释乱码
摘要：在hive中查看表结构时中文注释乱码，分为两种情况，一种是desc $table，一种是show create table $table 1 数据库字符集 检查 mysql> show variables like '%char%';mysql> show create table COLUMNS_ 阅读全文
posted @ 2019-02-26 10:48 匠人先生 阅读(775) 评论(0) 推荐(1) 编辑
大数据基础之Hive（4）hive元数据库核心表结构
摘要：1 dbs + + + + + + +| DB_ID | DESC | DB_LOCATION_URI | NAME | OWNER_NAME | OWNER_TYPE |+ + + + + + +key columns：DB_ID 1.1 database_params 2 tbls + + + 阅读全文
posted @ 2019-02-26 10:30 匠人先生 阅读(804) 评论(0) 推荐(1) 编辑
大数据基础之Spark（9）spark部署方式yarn/mesos
摘要：1 下载解压 https://spark.apache.org/downloads.html $ wget http://mirrors.shu.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz $ tar xvf spark 阅读全文
posted @ 2019-02-25 18:37 匠人先生 阅读(1015) 评论(0) 推荐(1) 编辑
大叔经验分享（33）hive select count为0
摘要：hive建表后直接将数据文件拷贝到table目录下，select * 可以查到数据，但是select count(1) 一直返回0，这个是因为hive中有个配置 hive.stats.autogather=true Enables automated gathering of table-level 阅读全文
posted @ 2019-02-25 15:51 匠人先生 阅读(3518) 评论(1) 推荐(1) 编辑
大数据基础之Hive（3）最简绿色部署
摘要：hadoop部署参考：https://www.cnblogs.com/barneywill/p/10428098.html 1 拷贝到所有服务器上并解压 # ansible all-servers -m copy -a 'src=/src/path/to/apache-hive-2.3.4-bin. 阅读全文
posted @ 2019-02-25 11:26 匠人先生 阅读(270) 评论(0) 推荐(1) 编辑
大数据基础之Hadoop（2）hdfs和yarn最简绿色部署
摘要：环境：3结点集群 192.168.0.1192.168.0.2192.168.0.3 1 配置root用户服务期间免密登录 参考：https://www.cnblogs.com/barneywill/p/10271679.html 2 安装ansible 参考：https://www.cnblogs 阅读全文
posted @ 2019-02-25 11:14 匠人先生 阅读(319) 评论(0) 推荐(1) 编辑
大叔经验分享（32）docker挂载文件修改生效
摘要：docker经常需要挂载文件到容器中，比如启动nginx # docker run -d --name test_nginx -v /tmp/nginx.conf:/etc/nginx/nginx.conf nginx 然后就有修改配置文件然后刷新的功能，如果直接用vi编辑宿主机文件 # vi /t 阅读全文
posted @ 2019-02-23 22:19 匠人先生 阅读(3062) 评论(0) 推荐(0) 编辑
大数据基础之集群搭建
摘要：Cluster OS&Platform redhat/centos7, docker, mesos, cloudera manager(cdh) Checklist 1 check user & password & network reachability, make sure everythin 阅读全文
posted @ 2019-02-22 23:33 匠人先生 阅读(306) 评论(0) 推荐(0) 编辑
Linux基础之Shell脚本常用命令
摘要：#!/bin/sh 1 取脚本参数 $# 参数个数$0 当前脚本名$1 第1个参数$n 第n个参数$* 所有参数$@ 所有参数$? 上个命令的状态$$ 当前pid 取当前目录 $(cd `dirname $0`; pwd) 2 日期 $ dateWed Mar 27 17:27:18 CST 201 阅读全文
posted @ 2019-02-22 11:13 匠人先生 阅读(477) 评论(0) 推荐(0) 编辑
运维基础之Ansible（2）离线安装
摘要：1 在一个能访问远程repo的服务器上执行，下载ansible及相关依赖的rpm包 # mkdir ansible# yum install --downloadonly --downloaddir=ansible ansible 2 将ansible目录拷贝到离线服务器上，通过yum locali 阅读全文
posted @ 2019-02-20 17:39 匠人先生 阅读(897) 评论(0) 推荐(0) 编辑
大数据基础之Airflow（2）生产环境部署airflow研究
摘要：一 官方 airflow官方分布式部署结构图 airflow进程 webserver scheduler flower（非必须） worker airflow缺点 scheduler单点 通过在scheduler的dags目录变动dag文件来提交流程 官方分布式部署方案 多个webserver 多个 阅读全文
posted @ 2019-02-20 01:57 匠人先生 阅读(3267) 评论(0) 推荐(0) 编辑
大叔经验分享（31）CM金丝雀Canary报错
摘要：CM金丝雀Canary报错 1 HDFS 金丝雀Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。 2 Hive Metastore CanaryHive Metastore canary 创建 hue hdfs 主目录 阅读全文
posted @ 2019-02-19 14:17 匠人先生 阅读(5248) 评论(0) 推荐(0) 编辑
大叔问题定位分享（31）hive metastore报错
摘要：hive metastore在建表时报错 [pool-5-thread-2]: MetaException(message:Got exception: java.net.ConnectException Call From server2 to server1:8020 failed on con 阅读全文
posted @ 2019-02-19 13:05 匠人先生 阅读(963) 评论(0) 推荐(0) 编辑
大叔经验分享（30）CM开启kerberos
摘要：kerberos安装详见：https://www.cnblogs.com/barneywill/p/10394164.html 一 为CM创建用户 # kadmin.local -q "addprinc scm/admin" 名字和密码任意，后续配置中会使用 二 CM配置过程 1 启用Kerbero 阅读全文
posted @ 2019-02-19 00:35 匠人先生 阅读(3060) 评论(0) 推荐(1) 编辑
大数据基础之Kerberos（1）简介、安装、使用
摘要：kerberos5-1.17 官方：https://kerberos.org/ 一 简介 The Kerberos protocol is designed to provide reliable authentication over open and insecure networks wher 阅读全文
posted @ 2019-02-19 00:35 匠人先生 阅读(1240) 评论(0) 推荐(1) 编辑
大数据基础之Marathon（2）marathon-lb
摘要：marathon-lb 官方：https://github.com/mesosphere/marathon-lb 一 简介 Marathon load balancer (Marathon-LB) is a proxy server and load balancer for TCP, HTTP, 阅读全文
posted @ 2019-02-18 18:30 匠人先生 阅读(863) 评论(0) 推荐(1) 编辑
大叔经验分享（29）cdh5使用已存在的metastore数据库部署hive
摘要：cdh5.16.1使用的hive版本是hive-1.1.0+cdh5.16.1+1431，详见：https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_516. 阅读全文
posted @ 2019-02-17 12:56 匠人先生 阅读(1014) 评论(0) 推荐(1) 编辑
数据库基础之Mysql（3）mysql删除历史binlog
摘要：mysql开启binlog后会在/var/lib/mysql下创建binlog文件，如果手工删除，则下次mysql启动会报错： mysqld: File './master-bin.000001' not found (Errcode: 2 - No such file or directory)2 阅读全文
posted @ 2019-02-17 01:15 匠人先生 阅读(578) 评论(0) 推荐(1) 编辑
Linux基础之测试域名IP端口连通性
摘要：一 测试域名是否可达 1 ping # ping www.baidu.comPING www.a.shifen.com (220.181.112.244) 56(84) bytes of data.64 bytes from 220.181.112.244 (220.181.112.244): ic 阅读全文
posted @ 2019-02-16 10:40 匠人先生 阅读(5902) 评论(0) 推荐(1) 编辑
大数据基础之Mesos+Marathon+Docker部署nginx
摘要：一 安装 安装docker：https://www.cnblogs.com/barneywill/p/10343091.html安装mesos：https://www.cnblogs.com/barneywill/p/10324348.html安装marathon：https://www.cnblo 阅读全文
posted @ 2019-02-16 02:51 匠人先生 阅读(924) 评论(0) 推荐(1) 编辑
大叔问题定位分享（30）mesos agent启动失败：Failed to perform recovery: Incompatible agent info detected
摘要：mesos agent启动失败，报错如下： Feb 15 22:03:18 server1.bj mesos-slave[1190]: E0215 22:03:18.622994 1192 slave.cpp:7311] EXIT with status 1: Failed to perform r 阅读全文
posted @ 2019-02-15 22:24 匠人先生 阅读(826) 评论(0) 推荐(0) 编辑
大数据基础之Marathon（1）简介、安装、使用
摘要：marathon 1.6.322 官方：https://mesosphere.github.io/marathon/ 一 简介 Marathon is a production-grade container orchestration platform for Mesosphere’s Datac 阅读全文
posted @ 2019-02-15 19:17 匠人先生 阅读(1466) 评论(0) 推荐(0) 编辑
大叔问题定位分享（29）datanode启动报错：50020端口被占用
摘要：集群中有一台datanode一直启动报错如下： java.net.BindException: Problem binding to [$server1:50020] java.net.BindException: Address already in use; For more details s 阅读全文
posted @ 2019-02-15 17:12 匠人先生 阅读(1048) 评论(0) 推荐(1) 编辑
大数据基础之CM5（Cloudera Manager）+CDH5离线安装
摘要：CM/CDH 5.16.1 CM官方：https://www.cloudera.com/products/product-components/cloudera-manager.html CDH官方：https://www.cloudera.com/products/open-source/apac 阅读全文
posted @ 2019-02-15 17:08 匠人先生 阅读(1713) 评论(0) 推荐(0) 编辑
运维基础之Redis（1）简介、安装、使用
摘要：redis 5.0.3 官方：https://redis.io/ 一 简介 Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message br 阅读全文
posted @ 2019-02-15 11:43 匠人先生 阅读(237) 评论(0) 推荐(1) 编辑
运维基础之yum离线环境安装软件
摘要：首先查看系统版本号，然后根据版本号从 CentOS-7-x86_64-DVD-1708.iso 和 CentOS-7-x86_64-Everything-1708.iso 根据需要选择一个下载，我这里是7.4.1708 # cat /etc/redhat-release CentOS Linux r 阅读全文
posted @ 2019-02-15 10:29 匠人先生 阅读(521) 评论(0) 推荐(1) 编辑
运维基础之Zabbix（1）简介、安装、使用
摘要：zabbix 4 官方：https://www.zabbix.com/ 一 简介 Monitor anythingSolutions for any kind of IT infrastructure, services, applications, resources 监控一切 Enterpris 阅读全文
posted @ 2019-02-15 00:37 匠人先生 阅读(1191) 评论(0) 推荐(1) 编辑
运维基础之Docker（4）实用工具ctop
摘要：ctop类似于top，top监控的是进程，ctop监控的是容器（container top） 安装 # wget https://github.com/bcicen/ctop/releases/download/v0.4.1/ctop-0.4.1-linux-amd64 -O ctop# mv ct 阅读全文
posted @ 2019-02-14 23:04 匠人先生 阅读(1466) 评论(0) 推荐(1) 编辑
运维基础之Docker（2）通过docker部署zookeeper nginx tomcat java redis kibana/elasticsearch/logstash mysql kafka mesos/marathon ftp git
摘要：通过docker可以从头开始构建集群，也可以将现有集群（配置以及数据）平滑的迁移到docker部署； 1 docker部署zookeeper # usermod -G docker zookeeper# mkdir /data# chown zookeeper.zookeeper /data# ec 阅读全文
posted @ 2019-02-14 16:00 匠人先生 阅读(644) 评论(0) 推荐(0) 编辑
大数据基础之ElasticSearch（3）升级
摘要：elasticsearch版本升级方案 常用的滚动升级过程（Rolling Upgrade）如下： $ curl -XPUT '$es_server:9200/_cluster/settings?pretty' -H 'Content-Type: application/json' -d '{"tr 阅读全文
posted @ 2019-02-14 01:45 匠人先生 阅读(449) 评论(0) 推荐(1) 编辑
大叔问题定位分享（28）openssh升级到7.4之后ssh跳转异常
摘要：服务器集群之间忽然ssh跳转不通 # ssh 192.168.0.1The authenticity of host '192.168.0.1 (192.168.0.1)' can't be established.RSA1 key fingerprint is 07:e4:54:79:62:60: 阅读全文
posted @ 2019-02-13 13:56 匠人先生 阅读(7331) 评论(0) 推荐(1) 编辑
运维基础之Docker（3）搭建私有仓库
摘要：下载并启动registry $ docker pull registry$ docker run --name my_registry -d -p 5000:5000 -v /var/lib/registry:/var/lib/registry registry 从官方仓库下载nginx并push到 阅读全文
posted @ 2019-02-13 01:56 匠人先生 阅读(367) 评论(0) 推荐(2) 编辑
大数据基础之Mesos（1）简介、安装、使用
摘要：Mesos 1.7.1 官方：http://mesos.apache.org/ 一 简介 Program against your datacenter like it’s a single pool of resources mesos使数据中心（庞大的服务器集群）看起来像是一个资源（CPU、内存 阅读全文
posted @ 2019-02-12 18:29 匠人先生 阅读(1261) 评论(0) 推荐(1) 编辑
Linux基础之挂载硬盘
摘要：1 查看哪些硬盘没有挂载 # fdisk -l Disk /dev/vdb: 107.4 GB, 107374182400 bytes, 209715200 sectorsUnits = sectors of 1 * 512 = 512 bytesSector size (logical/physi 阅读全文
posted @ 2019-02-12 16:51 匠人先生 阅读(498) 评论(0) 推荐(1) 编辑
运维基础之Docker（1）简介、安装、使用
摘要：docker 18.09 官方：https://docs.docker.com/ 一 简介 Docker is a platform for developers and sysadmins to develop, deploy, and run applications with containe 阅读全文
posted @ 2019-02-01 17:18 匠人先生 阅读(1187) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示