上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 29 下一页
摘要: 人工智能导论 1)人工智能:让机器像人一样具有一些能力,扩展人的智慧。 2)机器学习: 不显式编程地赋予计算机能力的研究领域。 3)AIOps: Artificial Intelligence for IT Operations,智能化运维,将人工智能应用于运维领域,基于已有的运维数据(日志、监控信 阅读全文
posted @ 2022-03-20 20:54 靠谱杨 阅读(555) 评论(0) 推荐(0) 编辑
摘要: 使用爬虫等获取实时数据+Flume+Kafka+Spark Streaming+mysql+Echarts实现数据动态实时采集、分析、展示 【获取完整源码关注公众号:靠谱杨阅读人生 回复kafka获取下载链接】 主要工作流程如下所示: 模拟随机数据,把数据实时传输到Linux虚拟机文件中。 使用Fl 阅读全文
posted @ 2022-03-18 20:14 靠谱杨 阅读(2182) 评论(0) 推荐(0) 编辑
摘要: 十二、Kafka (1)Topic 1)查看当前服务器中的所有topic bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list 2)创建first topic bin/kafka-topics.sh --bootstrap-serv 阅读全文
posted @ 2022-03-17 09:06 靠谱杨 阅读(493) 评论(0) 推荐(0) 编辑
摘要: 注意代码缩进 添加执行权限 chmod +x kf.sh 1 #! /bin/bash 2 case $1 in 3 "start"){ 4 for i in hadoop102 hadoop103 hadoop104 5 do 6 echo " 启动 $i Kafka " 7 ssh $i "/o 阅读全文
posted @ 2022-03-17 08:21 靠谱杨 阅读(293) 评论(0) 推荐(0) 编辑
摘要: 1 #!/bin/bash 2 3 #1. 判断参数个数 4 if [ $# -lt 1 ] 5 then 6 echo Not Enough Arguement! 7 exit; 8 fi 9 10 #2. 遍历集群所有机器 11 for host in hadoop102 hadoop103 h 阅读全文
posted @ 2022-03-17 08:13 靠谱杨 阅读(111) 评论(0) 推荐(0) 编辑
摘要: jpsall代码 #!/bin/bash for host in hadoop102 hadoop103 hadoop104 do echo $host ssh $host jps done 查看某个命令所在的路径 which 【命令名称】 whereis 用来查看一个命令或者文件所在的路径 whi 阅读全文
posted @ 2022-03-16 22:23 靠谱杨 阅读(356) 评论(0) 推荐(0) 编辑
摘要: 十一、Flume 1)开启Flume的监控端口 bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console 2)使用netcat工具向44444端口发送信号 nc 阅读全文
posted @ 2022-03-16 21:53 靠谱杨 阅读(72) 评论(0) 推荐(0) 编辑
摘要: 1 def get_words(txt): 2 seg_list = jieba.cut(txt) 3 c = Counter() 4 for x in seg_list: 5 if len(x) > 1 and x != '\r\n': 6 c[x] += 1 7 print('常用词频度统计结果 阅读全文
posted @ 2022-03-15 22:48 靠谱杨 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 1 """ 2 https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100006852812&score=0&sortType=5&page=0&pageSize= 阅读全文
posted @ 2022-03-13 11:08 靠谱杨 阅读(470) 评论(0) 推荐(0) 编辑
摘要: 参考:http://dblab.xmu.edu.cn/blog/1312-2/ 总的来说,每一 个Spark Application 都是由一个 driver program 组成,这个 driver program 会运行用户的 main 方法 ,且能在集群上执行并行操作。Spark 提供了一个主 阅读全文
posted @ 2022-03-06 22:09 靠谱杨 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 十、使用sbt对Scala程序进行打包并运行(Spark单机运行) 在./sparkapp 中新建文件 simple.sbt(vim ./sparkapp/simple.sbt),添加内容如下,声明该独立应用程序的信息以及与 Spark 的依赖关系: name := "Simple Project" 阅读全文
posted @ 2022-03-03 21:37 靠谱杨 阅读(420) 评论(0) 推荐(0) 编辑
摘要: 大数据Hadoop-Spark集群部署知识总结 一、启动/关闭 hadoop myhadoop.sh start/stop 分步启动: 第一步:在hadoop102主机上 sbin/start-dfs.sh 第二步:在hadoop103主机上 sbin/start-yarn.sh 分步关闭: 第一步 阅读全文
posted @ 2022-03-02 20:25 靠谱杨 阅读(488) 评论(0) 推荐(0) 编辑
摘要: ls 命令,展示文件夹内内容 -R :连同子目录内容一起列出来; -S :以档案容量大小排序! -t :依时间排序 cd 命令 cd /root/Docements # 切换到目录/root/Docements cd ./path # 切换到当前目录下的path目录中,“.”表示当前目录 cd .. 阅读全文
posted @ 2022-03-01 23:19 靠谱杨 阅读(62) 评论(0) 推荐(0) 编辑
摘要: 增加scala插件 阅读全文
posted @ 2022-02-28 22:15 靠谱杨 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 问题五、什么是软件 软件的历史,其实是机器模拟人的历史。 程序从早期由一个人完成,也逐渐变成了由很多不同角色的人共同合作来完成。 软件的主要目的,还是把人类的生活模拟化,提供更低成本,高效率的新的生活。 有了软件之后,实际上,我们是把我们日常生活中所做的事情,包括我们自己本人都一起虚拟化到了计算机中 阅读全文
posted @ 2022-02-25 20:30 靠谱杨 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 架构漫谈 王概凯 阅读笔记 问题一、为什么会出现“架构”以及什么是“架构” 为什么会出现“架构”? 架构一词最早来自建筑领域,建筑的本质就是从自然环境中,划出一块独占的空间,但是仍然能够通过门窗等和自然环境保持沟通。这个时候架构就已经开始了。对地球上的空间进行切分,并通过门窗,地基等,保持和地球以及 阅读全文
posted @ 2022-02-24 15:18 靠谱杨 阅读(33) 评论(0) 推荐(0) 编辑
摘要: Application Application是在使用spark-submit 提交的打包程序,也就是需要写的代码。完整的Application一般包含以下步骤:(1)获取数据(2)计算逻辑(3)输出结果(可以是存入HDFS,或者是其他存储介质) Executor Executor是一个Applic 阅读全文
posted @ 2022-02-18 20:35 靠谱杨 阅读(138) 评论(0) 推荐(0) 编辑
摘要: Spark的技术生态 Spark的技术生态包含了各种丰富的组件,而不同的组件提供了不同功能,以适应不同场景。 Spark core spark core包含Spark的基本功能,定义了RDD的API以及以此为基础的其他动作。Spark的其他库都构建在RDD和Spark Core之上。 Spark S 阅读全文
posted @ 2022-02-01 20:41 靠谱杨 阅读(43) 评论(0) 推荐(0) 编辑
摘要: hadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System ,HDFS)。HDFS 阅读全文
posted @ 2022-01-27 21:43 靠谱杨 阅读(269) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-01-20 22:40 靠谱杨 阅读(36) 评论(0) 推荐(0) 编辑
上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 29 下一页