2019年8月30日

解决yarn管理资源管理,其他应用起不来

摘要: 解决yarn管理资源管理其他应用起不来 第一步: 第二步:进入虚拟机 阅读全文

posted @ 2019-08-30 17:14 来勒 阅读(276) 评论(0) 推荐(0) 编辑

2019年8月21日

Spark 读取mysql中的数据

摘要: Spark(直接读取mysql中的数据) 两种方法的目的:进行mysql数据的数据清洗 方法一: ①执行 ②执行 若是出现:java.sql.SQLException: No suitable driver 执行: 再重新运行上面代码 方法二: ①创建sqoop,执行sqoop ②进入hive创建外 阅读全文

posted @ 2019-08-21 16:10 来勒 阅读(3706) 评论(0) 推荐(0) 编辑

Spark 配置连接hive 元数据库(mysql)

摘要: Spark 连接hive 元数据库(mysql) 方法一: 方法二: 1)拷贝hive的hive-site.xml文件到spark的conf目录下 2)修改spark中hive-site.xml文件 3)另建窗口启动: 4)启动spark: 5)测试: 阅读全文

posted @ 2019-08-21 11:35 来勒 阅读(3269) 评论(1) 推荐(0) 编辑

2019年8月16日

Linux安装anaconda和集成PySpark - Configuration

摘要: Linux安装anaconda和集成PySpark - Configuration Linux需要安装jdk,spark 使用curl下载Anaconda(这是一个脚本) curl -O https://repo.continuum.io/archive/Anaconda3-5.1.0-Linux- 阅读全文

posted @ 2019-08-16 13:49 来勒 阅读(1240) 评论(0) 推荐(1) 编辑

2019年8月14日

python(配置)

摘要: python(配置) 一、环境变量 1)在命令提示符中输入anaconda navigator:启动anaconda进入页面选择Jupyter(launch) 2)conda list 查看安装的库 4)访问网址:http://localhost:8888 两种进入python 生成jupyter文 阅读全文

posted @ 2019-08-14 22:24 来勒 阅读(183) 评论(0) 推荐(0) 编辑

Python 数据爬取(环境变量)

摘要: Python 数据爬取(环境变量) 配置scrapy: 进入setting ——>Project Interpreter——>点击+——>搜索scrapy——>Install Package下载 Anaconda3配置环境变量 1)D:\installation\BigData\java\Anaco 阅读全文

posted @ 2019-08-14 22:20 来勒 阅读(335) 评论(0) 推荐(0) 编辑

2019年8月11日

Linux_最初指定网址

摘要: 最初指定网址: 1)首先新建一个虚拟机: 修改文件:cd /etc/sysconfig/network-scripts/ 2)修改文件:vi ifcfg-enpOs3 3)修改文件:vi ifcfg-enOs8 4)重启网络:systemctl restart network 5)ping www. 阅读全文

posted @ 2019-08-11 14:20 来勒 阅读(165) 评论(0) 推荐(0) 编辑

2019年8月10日

python_基础

摘要: python(基础) Python的注释方法与常见内置函数 Python注释方法 常见内置函数 变量名的命名原则Python变量的特点 查看Python关键字的方法 数值类型 数值类型包括整型和浮点型 数值类型操作符 列表(list 【】) 列表的特点 创建List的方式 Tuple(元祖) () 阅读全文

posted @ 2019-08-10 23:50 来勒 阅读(306) 评论(0) 推荐(0) 编辑

python_配置

摘要: python(配置) 一、环境变量 1)在命令提示符中输入anaconda navigator:启动anaconda进入页面选择Jupyter(launch) 2)conda list 查看安装的库 两种进入python 生成jupyter文件 1)输入命令:jupyter notebook --g 阅读全文

posted @ 2019-08-10 23:28 来勒 阅读(126) 评论(0) 推荐(0) 编辑

Spark_飞机项目

摘要: Spark_飞机项目 首先将csv文件变成UTF-8 rdd 起始机场编号排名 机场数量/航线数量 计算最长的飞行航线 最大的边属性 找出最繁忙的机场 哪个机场到达航班最多 找出最重要的飞行航线 PageRank prege sampleRDD 找出最便宜的飞行航线 创建顶点 初始化源点(0) 阅读全文

posted @ 2019-08-10 23:17 来勒 阅读(264) 评论(0) 推荐(0) 编辑

< 2024年12月 >
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 1 2 3 4
5 6 7 8 9 10 11

导航

统计

点击右上角即可分享
微信分享提示