随笔分类 - Java，Scal，大数据
摘要：https://www.jiweichengzhu.com/article/93afbed1245d4ee69b82ed1b067f48a4
阅读全文
摘要：IDEA Error:java: Compilation failed: internal java compiler error 解决办法很简单：File-->Setting...-->Build,Execution,Deployment-->Compiler-->Java Compiler 设置
阅读全文
摘要：配置tomcat服务器 https://www.cnblogs.com/weixinyu98/p/9822048.html 下载IDEA并配置 https://blog.csdn.net/qq_25595025/article/details/82050927?utm_medium=distribu
阅读全文
摘要：volatile是Java虚拟机提供的轻量级别的同步机制 保证可见性 不保证原子性 禁止指令重排 JMM 可见性 原子性 有序性 计算机在执行程序是，为了提高性能，编译器和处理器常常会做指令重排，一般分为以下3中 单线程环境中确保程序最终执行结果和代码顺序执行的结果 一致性 处理器在进行重新排序是必
阅读全文
摘要：视频地址 https://www.bilibili.com/video/av44375469?p=5 脑图路径 https://naotu.baidu.com/home/08be5dae399427517136cd8ac0ca8729
阅读全文
摘要：启动zkServer /home/bduser/apps/zookeeper-3.4.6/bin/zkServer.sh start; 启动kafka /home/bduser/apps/kafka_2.11-0.10.2.1/bin/kafka-server-start.sh -daemon /h
阅读全文
摘要：启动redis /home/bduser/apps/redis-3.2.11/src/redis-server /home/bduser/apps/redis-3.2.11/redis.conf 启动kafka /home/bduser/apps/zookeeper-3.4.6/bin/zkServ
阅读全文
摘要：初始化Centos7vi /etc/sysconfig/network-scripts/ifcfg-ens33DEVICE=ens33TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.3.131GATEWAY
阅读全文
摘要：Spark-on-YARN 1. 官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 2. 配置安装 1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。 2
阅读全文
摘要：防火墙命令 #开启端口 firewall-cmd --zone=public --add-port=80/tcp --permanent 命令含义： --zone #作用域 --add-port=80/tcp #添加端口，格式为：端口/通讯协议 --permanent #永久生效，没有此参数重启后失
阅读全文
摘要：1.安装MySQL（hive的元数据库）并创建一个普通用户，并且授权 CREATE USER 'xiaoniu'@'%' IDENTIFIED BY '123568'; GRANT ALL PRIVILEGES ON hivedb.* TO 'xiaoniu'@'%' IDENTIFIED BY '
阅读全文
摘要：CentOS7命令https://www.cnblogs.com/cerofang/p/11114934.htmlhadoop常用操作命令https://www.cnblogs.com/cerofang/p/10460494.htmlday3_day6https://www.cnblogs.com/
阅读全文
摘要：一、mysql中的编码 mysql> show variables like 'collation_%'; mysql> show variables like 'character_set_%'; 缺省是latin1编码，会导致中文乱码。修改库的编码：mysql> alter database d
阅读全文
摘要：/** 将mysql的表导入 hdfs **/bin/sqoop import \--connect jdbc:mysql://hdp-04:3306/userdb \--username root \--password root \--target-dir \/sqooptest \--fiel
阅读全文
摘要：hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hado
阅读全文
摘要：通过案例学习MAPREDUCE教程 1. wordcount示例开发 1.1. wordcount程序整体运行流程示意图 map阶段： 将每一行文本数据变成<单词,1>这样的kv数据 reduce阶段：将相同单词的一组kv数据进行聚合：累加所有的v 注意点：mapreduce程序中， map阶段的进
阅读全文
摘要：1. zookeeper快速上手 1.1. zookeeper的基本功能和应用场景 1.2. zookeeper的整体运行机制 1.3. zookeeper的数据存储机制 1.3.1. 数据存储形式 zookeeper中对用户的数据采用kv形式存储 只是zk有点特别： key：是以路径的形式表示的，
阅读全文
摘要：启动HIV 启动hiv的前提条件是HDFS和YARN都可以正常在启动中 /apps/apache-hive-1.2.1-bin/bin/hive 查询HIV的sql语句 select sex,count(1) from t_bigdata group by male ; hive的脚本化运行使用方式
阅读全文
