07 2019 档案
摘要：在ubuntu执行python3的时候，出现 UnicodeEncodeError: 'latin-1' codec can't encode characters in position 10-18: ordinal not in range(256) 这是由于当前的操作系统乱码问题导致的。 解决
阅读全文
摘要：简介 ssh是一个协议，OpenSSH是其中一个开源实现，paramiko是Python的一个库，实现了SSHv2协议(底层使用cryptography)。 有了Paramiko以后，我们就可以在Python代码中直接使用SSH协议对远程服务器执行操作，而不是通过ssh命令对远程服务器进行操作。 由
阅读全文
摘要：简介 Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中，但是不能将hbase、hive的数
阅读全文
摘要：压缩的好处 文件压缩的好处：减少文件存储锁需要的磁盘空间，加速数据在网络和磁盘上的传输。 常见的压缩格式 压缩格式 工具 算法 文件扩展名 是否可以切分 DELATE 无 DEFLATE .delate 否 Gzip gzip DEFLATE .gz 否 bzip2 bzip2 bzip2 .bz2
阅读全文
摘要：HDFS中NameNode工作机制1.NameNode的主要功能（1）负责客户端请求的响应； （2）负责元数据的管理。 2.元数据管理namenode对数据管理采用了三种存储形式： （1）内存元数据； （2）磁盘元数据镜像文件； （3）数据操作日志文件（可以通过日志运算出元数据）。 2.1元数据的存
阅读全文
摘要：问题现象 问题描述 公司业务程序需求每30分钟mv 一万多个文件，如果三十分钟之内当前的文件内容没有全部移动，程序报错并且停止。 分析 通过分析，发现在启动balancer和不启动balancer的情况下，namenode的处理能力差别巨大。不启动balancer，一万多个文件不到20秒全部移动成功
阅读全文
摘要：机架感知脚本 使用python3编写机架感知脚本，报存到topology.py，给予执行权限 import sys import os DEFAULT_RACK="/default-rack" HADOOP_CONF_DIR = os.environ['HADOOP_CONF_DIR'] FILE=
阅读全文
摘要：一、Service RPC port NameNode默认使用8020端口侦听所有的RPC请求（HDP版本），包括客户端数据请求，DataNode心跳和block上报，ZKFC模块监控检查和切换控制。当集群规模越和RPC请求来越大时，RPC请求响应时间也变得越来越长。 NameNode也给DataN
阅读全文
摘要：hadoop版本：2.9.2 1、带宽的设置参数： dfs.datanode.balance.bandwidthPerSec 默认值 10m 2、datanode之间数据块的传输线程大小：dfs.datanode.max.transfer.threads 默认值4096 3、修改dfs.datano
阅读全文
摘要：Linux修改时区的正确方法 CentOS和Ubuntu的时区文件是/etc/localtime，但是在CentOS7以后localtime以及变成了一个链接文件 [root@centos7 ~]# ll /etc/localtime lrwxrwxrwx 1 root root 33 Oct 12
阅读全文
摘要：编写一个程序，基本要素包括：标识符、关键字、注释、修饰符、块、语句、类和main()方法。 标识符 概念 在Java语言中：标识符是用来给类、对象、方法、变量、接口和自定义数据类型命名的。 标识符组成 Java标识符由数字，字母和下划线（_），美元符号（$）或人民币符号（￥）组成。在Java中是区分
阅读全文
摘要：Hello World程序 在编程语言的世界里，第一个编程语言估计就是输出Hello World了吧。 /** * 编写第一个Java程序，输出Hello World！ * @author LJS * */ public class HelloWorld { //入口程序 public static
阅读全文
摘要：set hive.mapred.mode=strict; //设置hive执行模式，默认为nonstrict(非严格模式),这里设置为严格模式 set hiveconf:hive.cli.print.current.db=true; //显示当前数据库的名称， 默认是false，这里开启 set hive.cli.print.header=true; 查询表数据的...
阅读全文
摘要：1、namenode 如何判断datanode节点是否宕机？ 先决条件： datanode每隔一段时间像namenode汇报，汇报的信息有两点 (1)自身datanode的状态信息； (2)自身datanode所持有的所有的数据块的信息。 如果namenode连续十次没有收到datanode的汇报，
阅读全文
摘要：hadoop 之hdfs数据块修复方法： 1、手动修复 hdfs fsck / #检查集群的健康状态 hdfs debug recoverLease -path 文件位置 -retries 重试次数 #修复指定的hdfs数据块。也就是关闭打开的文件。 检查坏块： hadoop fsck /user
阅读全文
摘要：ssh链接云主机： ssh root@123.59.xx.xx 报错：THE AUTHENTICITY OF HOST XX CAN’T BE ESTABLISHED 解决办法： ssh -o StrictHostKeyChecking=no root@123.59.xx.xx 输入密码，链接成功 与ssh中Host key verification failed问题一样...
阅读全文
摘要：sudo debconf-set-selections <<< 'mysql-server mysql-server/root_password password your_password' sudo debconf-set-selections <<< 'mysql-server mysql-server/root_password_again password your_password'...
阅读全文
摘要：1、docker 固定网络ip地址，启动 Docker的时候，用 --network 参数，可以指定网络类型 eg：docker run -itd --name test1 --network bridge --ip 172.17.0.10 centos:latest /bin/bash （1）bridge：桥接网络 默认情况下启动的Docker容器，都是使用 bridge，Docker安装时创...
阅读全文
摘要：mysql常用命令： 1.登录MySQL mysql -h主机 -u用户名 -p密码 2. 查看MySQL数据库的字符集 show variables like '%char%'; 3.查看MySQL数据表(table)的字符集 show table status from 数据库名 like '%表名%'; 4 . 查看MySQL数据列(columns)的字符集 show full colu...
阅读全文
摘要：<property> <name>dfs.nameservices</name> <value>EDPI</value> </property> <property> <name>dfs.ha.namenodes.EDPI</name> <value>nna,nns</value> </proper
阅读全文
摘要：错误1：org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session expired 错误2：Reported time is too far out of sync with mast
阅读全文
摘要：错误记录与分析 错误1：java.net.BindException: Port in use: localhost:0 错误2：datanode节点磁盘空间爆满，导致datanode启动不能启动 错误3：java.io.IOException: Premature EOF from inputSt
阅读全文
摘要：swap分区关闭 准备调整Linux下的swap分区的使用率。 在Linux下执行 swapoff -a -v报如下错误： swapoff: /dev/mapper/cryptswap1: swapoff failed: Cannot allocate memory 上述错误原因分析： 从上述的信息
阅读全文
摘要：前提：HDFS fsck确保hbase根目录下文件没有损坏丢失，如果有，则先进行corrupt block移除。 切记：一定要在所有Region都上线之后再修复，否则修复之后可能出现重复Region。 步骤1. hbase hbck 检查输出所有ERROR信息，每个ERROR都会说明错误信息。 步骤2. hbase hbck -fixTableOrphans 先修复tableinfo缺失问题，...
阅读全文
摘要：线程的概念 现在的操作系统几乎都支持运行多个任务，而在操作系统内部，一个任务往往代表的执行的某一个程序，也就是运行中的程序，运行的程序是一个动态的概念，也就是所说的进程，而在进程内部，往往有许多顺序执行流，这些顺序执行流就是线程。 线程的创建 Python提供了 _thread 和 threadin
阅读全文
