05 2020 档案
摘要：create table toys.test (id int, x0 double, x1 double, x2 double, x3 double) row format delimited fields terminated by ',' stored as textfile; 先在hive 数
阅读全文
摘要：找到hadoop安装目录下$HADOOP_HOME/etc/mapred-site.xml,增加以下代码 <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value
阅读全文
摘要：create table tbl_test_bak like tbl_test; insert into tbl_test_bak select * from tbl_test;
阅读全文
摘要：1. Hive数据类型 Hive支持原始数据类型和复杂类型，原始类型包括数值型，Boolean，字符串，时间戳。复杂类型包括数组，map，struct。下面是Hive数据类型的一个总结： 分类类型描述字面量示例 原始类型 BOOLEAN true/false TRUE TINYINT 1字节的有符号
阅读全文
摘要：先将本地数据上传到hadoop,在将hadoop 数据导入hive数据仓库：hive> use toys ; OKTime taken: 1.372 secondshive> load data local inpath '/data/projects/test.txt' overwrite int
阅读全文
摘要：部署：hive 下载: wget http://mirror.bit.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz mv apache-hive-3.1.2-bin.tar.gz hive 配置环境变量： # hive home
阅读全文
摘要：第一步环境准备： jdk安装，用户用组新建 useradd -m hadoop passwd hadoop 修改密码 添加用户hadoop到hadoop用户组 wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3.
阅读全文
摘要：使用库Pyhive 安装：pip install Pyhive -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com from pyhive import hive # or import hive c
阅读全文
摘要：doc：http://pyhdfs.readthedocs.io/en/latest/ pip install hdfs https://hdfscli.readthedocs.io/en/latest/quickstart.html 此外还有一个库pyhdfs https://github.com
阅读全文
摘要：软件环境：VMware10.0，VMware10,ubuntu15.10桌面版（ubuntukylin-15.10-desktop-i386.iso），Apache hadoop（hadoop-1.2.1.tar.gz），JDK（jdk-8u11-linux-i586.tar.gz） 一 安装JDK
阅读全文
摘要：原理： file.seek(offset, whence) offset 偏移量，也就是相对于whence 的向前向后读取字节个数的值，可以负数，负数向前，整数向后，默认0 whence 有两种表示方法：纯数字，python内置函数 0，1，2 分别对应os.SEEK_SET,os.SEEK_CUR
阅读全文
摘要：很多开发者都在其系统中见过“java.lang.OutOfMemoryError: PermGen space”这一问题。这往往是由类加载器相关的内存泄漏以及新类加载器的创建导致的，通常出现于代码热部署时。相对于正式产品，该问题在开发机上出现的频率更高，在产品中最常见的“问题”是默认值太低了。常用的
阅读全文
摘要：jvm细化图： VM的内存部分则是由方法区（Method Area）、JAVA堆（Heap）、虚拟机栈（Stack）、程序计数器、本地方法栈这几部分组成；除此以外，在概念中还有一个直接内存的概念，事实上这部分内存并不属于虚拟机规范中定义的内存区域，但是因为在JDK1.4+后新加的NIO类，以及JDK
阅读全文
摘要：java 垃圾回收解析 如果不进行垃圾回收，内存迟早会被消耗空。垃圾回收机制的引入可以有效的防止内存泄露、保证内存的有效使用，也减轻了 Java 程序员的对内存管理的工作量。 内存泄露：指该内存空间使用完毕后未回收，在不涉及复杂数据结构的一般情况下，Java 的内存泄露表现为一个内存对象的生命周期超
阅读全文
摘要：ZooKeeper的部署和测试 一背景 zookeeper是一个开源的分布式应用程序协调服务，是Apache Hadoop 的一个子项目。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。其原理是基于google发表的《The Chubby lock
阅读全文
摘要：问题描述：An error occurred: Error while processing samples:Mismatch between expected number of columns:17 and columns in CSV file:14, check your jmeter.sa
阅读全文
摘要：python垃圾回收主要分为三种： 1.计数器Reference Counting 2.mark-sweep俗称标记清除算法 3.分代回收 第一计数器，对计数器sys.getrefcount()为0的对象会进行垃圾回收，释放内存 c=dict()b=ca=cprint(sys.getrefcount
阅读全文
摘要：https://www.cnblogs.com/kaishirenshi/p/7921308.html
阅读全文
摘要：# 5.2 部署mysql **在目标服务器（192.168.0.1 192.168.0.3）app用户下执行** **1）mysql安装：** ```#建立mysql根目录mkdir -p /data/projects/fate/common/mysqlmkdir -p /data/project
阅读全文
摘要：wait for ip in ${rollsite[*]}; do echo ${ip} ssh -p ${ssh_port} -tt ${user}@${ip} << eeooff source /data/projects/fate/init_env.sh cd /data/projects/f
阅读全文
摘要：前提安装protoc,以及protoc-gen-grpc-java配置环境变量： 注释：网上很多介绍使用maven 创建的最后只看到了一个xxxservice.java，而且并不是我想要开发实现的，所以这里使用的自己新建一个普通的java 工程，注意事项main下要有proto目录用来存放.prot
阅读全文
摘要：String 转Json： String str = "{\"age\":\"24\",\"name\":\"hekliu\"}"; JSONObject jsonObject = JSONObject.parseObject(str); System.out.println("json对象是："
阅读全文
摘要：二、Server版方法-Ubuntu16以下配置静态IP的方法对Ubuntu和CentOS都适用。 1、修改IP地址1）、先用命令ifconfig查询一下原来网卡的名字，如下： hzq@ubuntu:~$ ifconfigens33 Link encap:以太网 硬件地址 00:0c:29:c3:b
阅读全文
摘要：proto文件helloword.proto： // Copyright 2015 gRPC authors. // // Licensed under the Apache License, Version 2.0 (the "License"); // you may not use this
阅读全文
摘要：1.测试前提，参考先熟悉grpc测试demo: 参考官网：python 实现grpc client以及service : https://grpc.io/docs/quickstart/python/ java实现client 和service:https://grpc.io/docs/quicks
阅读全文
