linux 切割文件的命令
摘要：
Head -1000 access.2016.log >> 10000_access.log 阅读全文
posted @ 2018-08-06 20:01 JETIME庚 阅读(144) 评论(0) 推荐(0) 编辑
AJAX模板
摘要：
$.ajax({ type:"",//Ajax请求的提交方式（GET或POST） dataType:"text",//请求的类型 url:"",//发送的目标地址 async:true, data:{param1:value1, param2:value2},//发送的参数。JSON的格式 succ 阅读全文
posted @ 2018-08-06 14:24 JETIME庚 阅读(87) 评论(0) 推荐(0) 编辑
分布式处理框架MapReduce的深入简出
摘要：
1).MapReduce的概述 2).MapReduce 编程模型 3).MapReduce架构 4).MapReduce编程 Google MapReduce论文,论文发表于2004年 Hadoop MapReduce是Google MapReduce的克隆版 MapReduce优点:海量数据离线 阅读全文
posted @ 2018-07-22 21:01 JETIME庚 阅读(142) 评论(0) 推荐(0) 编辑
YARN 的深入简出
摘要：
1.YARN的产生背景 2.YARN的执行流程 3.YARN的概述 4.YARN的环境搭建 5.YARN的架构 6.如何提交作业到YaRN上执行 YARN的产生MapReduce1.x存在多种问题单节点故障&节点压力大&不支持除了MapReduce之外的计算框架 MapReduce:Master/S 阅读全文
posted @ 2018-07-22 10:34 JETIME庚 阅读(174) 评论(0) 推荐(0) 编辑
HDFS 总结
摘要：
HDFS是一个分布式文件存储系统 Client 提交读写请求(拆分blocksize) NameNode 全局把控(知道blocksize的地址) dataNode 存储数据(将数据存储进去,且以Pipeline的方式把数据写完) 1.如果你要把数据写到HDFS上去,的流程是 发起请求-client 阅读全文
posted @ 2018-07-21 22:14 JETIME庚 阅读(157) 评论(0) 推荐(0) 编辑
IDEA 创建HDFS项目 JAVA api
摘要：
1.创建quickMaven 1.在properties中写hadoop 的版本号并且通过EL表达式的方式映射到dependency中 2.写一个repostory将依赖加载到本地仓库中 这是加载完成的页面 这是开发代码 阅读全文
posted @ 2018-07-21 21:29 JETIME庚 阅读(2485) 评论(0) 推荐(0) 编辑
解决 HDFS 开发 java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop000
摘要：
出现这种问题多半是windows找不到linux主机所以在 这个路径下的hosts加上linux ip地址,主机名就可以了 阅读全文
posted @ 2018-07-21 16:50 JETIME庚 阅读(7536) 评论(0) 推荐(2) 编辑
hadoop深入简出(二)
摘要：
1.上传文件 Hadoop fs -put hello.txt / 2.查看上传的文件 hadoop fs -ls / hadoop fs -text /hello.txt 两个命令都可以 3.创建文件夹 hadoop fs -mkdir /test 4.递归展示文件夹 hadoop fs -lsr 阅读全文
posted @ 2018-07-21 15:30 JETIME庚 阅读(125) 评论(0) 推荐(0) 编辑
大数据hadoop的伪分布式搭建
摘要：
1.配置环境变量JDK配置 1.JDK安装 个人喜欢在 vi ~/.bash profile 下配置 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91export PATH=$JAVA_HOME/bin:$PATH 当然要让环境变量生效source ~/.b 阅读全文
posted @ 2018-07-19 21:28 JETIME庚 阅读(245) 评论(1) 推荐(0) 编辑
anaconda的安装tensorflow
摘要：
在anaconda prompt中我们输入 anaconda search -t conda tensorflow 查看能在哪里安装tensorflow anaconda show dhirschfeld/tensorflow conda install --channel https://cond 阅读全文
posted @ 2018-07-17 13:11 JETIME庚 阅读(106) 评论(0) 推荐(0) 编辑
