随笔分类 - 大数据&数据分析
摘要：简介 官方文档 开发中INI格式的配置文件使用还是有必要的。如果某些配置项需要在运行时由用户来修改指定，比如数据库用户信息等等，这种配置项如果使用INI格式的配置文件来操作的话就会方便很多。Python中操作配置文件的模块为configparser，这个模块可以用来解析与Windows上INI文件结
阅读全文
摘要：# 利用Shell命令与HDFS进行交互 Hadoop支持很多Shell命令，其中fs是HDFS最常用的命令，利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。 下文示例命令是以"./bin/hadoop dfs"开头的Shell命令方式，实际上有三种shell命令方式。 1.
阅读全文
摘要：Anaconda简介 Anaconda Distribution 是一个 Python/R 数据科学发行版，包含 7,500 多个开源包，其中包括包和环境管理器。Anaconda Distribution 与平台无关，因此无论您是在 Windows、macOS 还是 Linux 上，您都可以使用它。
阅读全文
摘要：### 前提 本文中的命令都是在已添加相关环境变量的情况下执行，不用再到相关的文件夹下。 开启顺序：zookeeper->Hadoop->Hbase/Spark 关闭顺序：和开启顺序相反 ### Zookeeper 启动(每台服务器上都要执行) `zkServer.sh start` 查看状态(在需
阅读全文
