随笔分类 - 大数据
大数据比赛学习做的笔记
摘要：报错 ClickHouse exception, code: 62, host: hadoop102, port: 8123; Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 183 (end o
阅读全文
摘要：echarts 常用属性 可以看：xyongz的分类：echarts图表 // 标题配置 title: { backgroundColor: 'rgba(0,0,0,0)', borderColor: '#ccc', // 标题边框颜色 borderWidth: 0, // 标题边框线宽，单位px，
阅读全文
摘要：flask 1.基础配置 初始化 from flask import Flask app=Flask(__name__,static_url_path='/s',static_folder='statics') #这里面的__name__指名程序所在的包或模块 #static_url_path='/
阅读全文
摘要：python 中常用可视化工具库 a、Numpy常用属性及方法 为什么用它：它可以方便的使用数组，矩阵进行计算，包含线性代数。傅里叶变换、随机数生成等大量函数（处理数值型的数组） import numpy as np Numpy生成array的属性： import numpy as np x=np.
阅读全文
摘要：spark数据清洗 1.Scala常用语法 运用maven创建项目，需要导入如下依赖： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.1.1</
阅读全文
摘要：mapreduce的使用 以下案例写之前需要导入jar包依赖： <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.0
阅读全文
摘要：python爬虫 1.解析HTML： lxml 是一种python编写的库，可以迅速、灵活的处理xml和html 使用：根据版本的不同，有如下两种： 形式1： from lxml import etree 转换成树形结构对象： obj=etree.HTML(htmlStr) 形式2： from lx
阅读全文
摘要：sqoop sqoop环境搭建 解压 tar -zxvf /h3cu/sqoop..........tar -C /usr/local/src 并重命名为：mv sqoop ........ sqoop vim /root/.bash_profile (记得source) export SQOOP_
阅读全文
摘要：spark环境搭建 解压：tar -zxvf spark-........ -C /usr/local/src cd /usr/local/src 执行： mv spark-..... spark vim /root/.bahs_profile (改完记得source) export SPARK_H
阅读全文
摘要：hive 环境搭建 解压：tar -zxvf apach-hive....... -C /usr/local/src cd /usr/local/src 执行： vim /root/.bash_profile (记得source) export HIVE_HOME=/usr/local/src/hi
阅读全文
摘要：zookeeper搭建 解压zookeeper包： tar -zxvf zookeeper-......... -C /usr/local/src cd /usr/local/src 执行：mv zookeeper..... zookeeper cd zookeeper/conf 执行：cp zoo
阅读全文
摘要：Hadoop 搭建环境 伪分布式： 解压：tar -zxvf hadoop.... -C /usr/local/src mv hadoop.... hadoop 修改环境变量：vim /root/.bash_profile 添加： export HADOOP_HOME=/usr/local/src/
阅读全文
摘要：环境搭建前准备 关闭禁用防火墙： 关闭：systemctl stop firewalld 禁用：systemctl disable firewalld 修改主机名： vim /etc/hostname 或者： hostnamectl set-hostname xxx 修改ip地址： vim /etc
阅读全文
摘要：一、环境搭建 1.安装前准备 关闭禁用防火墙： 关闭：systemctl stop firewalld 禁用：systemctl disable firewalld 修改主机名： vim /etc/hostname 或者： hostnamectl set-hostname xxx 修改ip地址： v
阅读全文
