11 2020 档案
摘要:hadoop-04 1.流量案例分析 统计每个人总流量 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apac
阅读全文
摘要:hadoop 03 1.checkpoint机制 hadoop如何进行checkpoint的呢? hdfs的源数据记录在内存中,它是一个对象。当客户端进行hdfs操作(rm mkdir...),然后传输给服务端namenode进行解析,执行更新操作,为了保证数据持久化,它会把数据进行序列化存储,当然
阅读全文
摘要:记录一次hadoop自己 埋的坑 本机使用windows系统运行hadoop的mapreduce.首先我现在的版本是hadoop2.8.5。配置操作 0.配置java环境变量 1.下载hadoop到磁盘上我下载到F:\hadoop-2.8.5 2.下载必要winutils.exe和hadoop.dl
阅读全文
摘要:flask_apscheduler一款定时任务器 下载: pip install Flask-APScheduler 通过定义工厂函数注册app # SCHEDULER_OPEN为配置是否开启定时 if app.config.get("SCHEDULER_OPEN"): scheduler_init
阅读全文
摘要:使用Flask-excel导出数据 安装: pip install Flask-Excel pip install pyexcel-xlsx # 导出xlsx pip install pyexcel-xls # 导出xls 注册app import flask_excel as excel exce
阅读全文
摘要:Matplotlib不能显示中文问题 因matplotlib不支持中文字体,要想中文支持需要进行一些配置。(仅提供linux解决方式) 1.下载中文字体连接 。我用的是SimHei.ttf 2.查看本机的matplotlib配置文件:本机python环境执行如下代码得到路径 import matpl
阅读全文
摘要:1.默认文件操作系统修改 在bin目录下:有个dfsadmin (hdfg dfsadmin xxx)是系统有关命令,集群管理命令。 如安全模式的控制:比如集群中一半的存储副本挂掉,将启动安全模式,客户端无法启动。好比如集群刚刚启动时候,需要启动事件,此时控制客户端无法写入也是安全模式控制。可以通过
阅读全文
摘要:常见命令: # 将本地/myfield/a.txt文件上传到linux01的hdfs中。 hdfs dfg -put /myfield/a.txt hdfs://linux01:9000/ hadoop常用操作命令 注意:需先配置环境变量 列出根目录下所有目录或文件 hdfs dfs -ls / 列
阅读全文
摘要:hadoop-01 大数据:指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新的处理模式化才能具有更强决策力,洞察发现力和流程化能力的海量,高增长率和多样化的信息资产。 分为: HDFS:海量数据的存储 mapreduce:分布式运算框架 YARN:资源调度平台和监控平台
阅读全文
摘要:CentOS虚拟机之间登录免密配置: 现有如下机器: 主机名 ip地址 linux01 10.0.0.134 linux02 10.0.0.131 linux03 10.0.0.132 需要在每台主机authorized_keys文件中配置包含主机(ssh密钥)。 第一步: # 每台机器配置对应连接
阅读全文