jsqup

2022年8月19日

摘要： ||启动方式|访问端口| |--|--|--| |HDFS|start-dfs.sh|NameNode(9000 API操作；50070 web访问端口)| |||DataNode(50010 dn和nn通信的端口；50075(datanode的web访问端口)| |||snn(50090 snn的阅读全文

posted @ 2022-08-19 12:06 jsqup 阅读(46) 评论(0) 推荐(0) 编辑

spark历史服务器配置

摘要： [root@node1 conf]# pwd /opt/app/spark-2.3.1/conf [root@node1 conf]# mv spark-defaults.conf.template spark-defaults.conf [root@node1 conf]# vi spark-de 阅读全文

posted @ 2022-08-19 11:38 jsqup 阅读(41) 评论(0) 推荐(0) 编辑

spark伪分布式搭建(standlone)

摘要： spark伪分布式搭建 # 配置环境 [root@node1 spark-2.3.1]# vi /etc/profile { export SPARK_HOME=/opt/app/spark-2.3.1 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sb 阅读全文

posted @ 2022-08-19 11:13 jsqup 阅读(56) 评论(0) 推荐(0) 编辑

2022年8月15日

11. azkaban将调度结果发送到邮箱

摘要：修改配置文件 [root@node1 conf]# pwd /opt/app/azkaban-3.85.0/web-server/conf [root@node1 conf]# ls azkaban.properties azkaban-users.xml global.properties log 阅读全文

posted @ 2022-08-15 18:41 jsqup 阅读(61) 评论(0) 推荐(0) 编辑

12. scala配置与创建

摘要：配置 1. 上传.tgz包 2. 解压 tar -zxvf scala-2.11.12.tgz -C /opt/app/ 3. 配置环境创建scala项目添加maven 阅读全文

posted @ 2022-08-15 12:07 jsqup 阅读(15) 评论(0) 推荐(0) 编辑

2022年8月12日

11. azkaban单任务工作调度

摘要：编写脚本文件压缩成zip包，上传至azkaban 阅读全文

posted @ 2022-08-12 18:44 jsqup 阅读(13) 评论(0) 推荐(0) 编辑

10. azkaban配置流程

摘要：下载azkaban后，得通过自己编译得到jar包注意：编译需要很长时间，这儿直接获取了在mysql中执行SQL文件 1、把hive的lib目录下的derby驱动jar包拷贝到web-server，exec-server的lib目录 [root@node1 web-server]# cp /opt 阅读全文

posted @ 2022-08-12 16:03 jsqup 阅读(113) 评论(0) 推荐(0) 编辑

2022年8月11日

可视化爬虫工具（八爪鱼）的使用

摘要：搜索要找到的内容输入网址进行搜索采集完成点击生成采集设置采集到本地进行采集数据导出数据导出数据到csc文件导出数据到mysql中 1. 删除一些字段 2. 删除后的字段 3. 在MySQL中创建表 4. 重新采集数据 5. 采集到数据库中 6. 选择数据库连接信息 7. 配置字段映射阅读全文

posted @ 2022-08-11 14:09 jsqup 阅读(421) 评论(0) 推荐(0) 编辑

9. 重新创建项目及可视化编写(maven+web)_项目一

摘要： 1. 创建空的maven项目 2. 添加web项目添加web项目后的结构 3. 配置tomcat 4. 导入jar包来运行servlet 5. pom.xml文件编写 <dependencies> <dependency> <groupId>mysql</groupId> <artifactId> 阅读全文

posted @ 2022-08-11 13:09 jsqup 阅读(63) 评论(0) 推荐(0) 编辑

8. 数据可视化_项目一

摘要：创建web项目显示效果图代码效果图步骤 <!DOCTYPE html> <html lang="en">  <head> <meta charset="UTF-8"> <tit 阅读全文

posted @ 2022-08-11 09:20 jsqup 阅读(18) 评论(0) 推荐(0) 编辑

公告