Fork me on GitHub

11 2020 档案

摘要:hadoop-04 1.流量案例分析 统计每个人总流量 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apac 阅读全文
posted @ 2020-11-29 23:16 是阿凯啊 阅读(102) 评论(0) 推荐(0) 编辑
摘要:hadoop 03 1.checkpoint机制 hadoop如何进行checkpoint的呢? hdfs的源数据记录在内存中,它是一个对象。当客户端进行hdfs操作(rm mkdir...),然后传输给服务端namenode进行解析,执行更新操作,为了保证数据持久化,它会把数据进行序列化存储,当然 阅读全文
posted @ 2020-11-29 11:41 是阿凯啊 阅读(85) 评论(0) 推荐(0) 编辑
摘要:记录一次hadoop自己 埋的坑 本机使用windows系统运行hadoop的mapreduce.首先我现在的版本是hadoop2.8.5。配置操作 0.配置java环境变量 1.下载hadoop到磁盘上我下载到F:\hadoop-2.8.5 2.下载必要winutils.exe和hadoop.dl 阅读全文
posted @ 2020-11-28 23:21 是阿凯啊 阅读(81) 评论(0) 推荐(0) 编辑
摘要:flask_apscheduler一款定时任务器 下载: pip install Flask-APScheduler 通过定义工厂函数注册app # SCHEDULER_OPEN为配置是否开启定时 if app.config.get("SCHEDULER_OPEN"): scheduler_init 阅读全文
posted @ 2020-11-18 10:57 是阿凯啊 阅读(331) 评论(0) 推荐(0) 编辑
摘要:使用Flask-excel导出数据 安装: pip install Flask-Excel pip install pyexcel-xlsx # 导出xlsx pip install pyexcel-xls # 导出xls 注册app import flask_excel as excel exce 阅读全文
posted @ 2020-11-12 16:44 是阿凯啊 阅读(230) 评论(0) 推荐(0) 编辑
摘要:Matplotlib不能显示中文问题 因matplotlib不支持中文字体,要想中文支持需要进行一些配置。(仅提供linux解决方式) 1.下载中文字体连接 。我用的是SimHei.ttf 2.查看本机的matplotlib配置文件:本机python环境执行如下代码得到路径 import matpl 阅读全文
posted @ 2020-11-11 16:19 是阿凯啊 阅读(233) 评论(0) 推荐(0) 编辑
摘要:1.默认文件操作系统修改 在bin目录下:有个dfsadmin (hdfg dfsadmin xxx)是系统有关命令,集群管理命令。 如安全模式的控制:比如集群中一半的存储副本挂掉,将启动安全模式,客户端无法启动。好比如集群刚刚启动时候,需要启动事件,此时控制客户端无法写入也是安全模式控制。可以通过 阅读全文
posted @ 2020-11-05 23:42 是阿凯啊 阅读(138) 评论(0) 推荐(0) 编辑
摘要:常见命令: # 将本地/myfield/a.txt文件上传到linux01的hdfs中。 hdfs dfg -put /myfield/a.txt hdfs://linux01:9000/ hadoop常用操作命令 注意:需先配置环境变量 列出根目录下所有目录或文件 hdfs dfs -ls / 列 阅读全文
posted @ 2020-11-03 14:43 是阿凯啊 阅读(125) 评论(0) 推荐(0) 编辑
摘要:hadoop-01 大数据:指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新的处理模式化才能具有更强决策力,洞察发现力和流程化能力的海量,高增长率和多样化的信息资产。 分为: HDFS:海量数据的存储 mapreduce:分布式运算框架 YARN:资源调度平台和监控平台 阅读全文
posted @ 2020-11-01 19:43 是阿凯啊 阅读(99) 评论(0) 推荐(0) 编辑
摘要:CentOS虚拟机之间登录免密配置: 现有如下机器: 主机名 ip地址 linux01 10.0.0.134 linux02 10.0.0.131 linux03 10.0.0.132 需要在每台主机authorized_keys文件中配置包含主机(ssh密钥)。 第一步: # 每台机器配置对应连接 阅读全文
posted @ 2020-11-01 16:11 是阿凯啊 阅读(245) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示