摘要: package lianjie; import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.State 阅读全文
posted @ 2018-07-27 23:24 小#安 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 防火墙 先进入init.d目录,命令如下:[root@centos6 ~]# cd /etc/init.d/ [root@centos6 init.d]# 然后查看防火墙状态:[root@centos6 init.d]# /etc/init.d/iptables status 暂时关闭防火墙:[ro 阅读全文
posted @ 2018-07-27 23:23 小#安 阅读(67) 评论(0) 推荐(0) 编辑
摘要: 电脑型号 戴尔 Inspiron 5548 笔记本电脑 (扫描时间:2018年07月10日)操作系统 Windows 8.1 64位 ( DirectX 11 ) 处理器 英特尔 Core i5-5200U @ 2.20GHz 双核主板 戴尔 03WM8D ( 英特尔 Broadwell-U - 5 阅读全文
posted @ 2018-07-27 23:22 小#安 阅读(599) 评论(0) 推荐(0) 编辑
摘要: spark依赖配置网址http://mvnrepository.com/1.create new project2.meven,直接next3.输入group id等4.输入project name5.可以删掉main下的java和resources6.右键点击项目,选Add Framework S 阅读全文
posted @ 2018-07-27 23:21 小#安 阅读(1927) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2018-07-27 23:19 小#安 阅读(72) 评论(0) 推荐(0) 编辑
摘要: flume简介与使用(1) - -flume安装与配置https://www.cnblogs.com/vincent-vg/p/5809626.html6.4https://item.btime.com/m_987e56ab945bc05cf 阅读全文
posted @ 2018-07-27 23:18 小#安 阅读(95) 评论(0) 推荐(0) 编辑
摘要: 1.八爪鱼,抓取数据 2.八爪鱼数据导入mysql(navicat连的虚拟机上的),表为an 3.给定mysql的表an自增id 4.开启hadoop,yarn, 5.利用sqoop导入mysql的表an sqoop import --connect jdbc:mysql://192.168.218 阅读全文
posted @ 2018-07-27 23:17 小#安 阅读(169) 评论(0) 推荐(0) 编辑
摘要: name node is in safe mode方法: hadoop dfsadmin -safemode leave 阅读全文
posted @ 2018-07-27 23:16 小#安 阅读(76) 评论(0) 推荐(0) 编辑
摘要: C:\Users\dell-pc\Desktop\node\大数据\hive的jdbc连接hdfs需导入的jar包 阅读全文
posted @ 2018-07-27 23:15 小#安 阅读(111) 评论(0) 推荐(0) 编辑
摘要: core-site.xml <property> <name>hadoop.tmp.dir</name> <value>file:/home/admin/hadoop-2.8.0/tmp</value> <description>Abase for other temporary directori 阅读全文
posted @ 2018-07-27 23:13 小#安 阅读(114) 评论(0) 推荐(0) 编辑
摘要: mysql的yum安装法ww.cnblogs.com/renjidong/p/7047396.html service mysqld start mysql -u root -p进入mysql\q退出 ERROR 1044 (42000): Access denied for user ''@'lo 阅读全文
posted @ 2018-07-27 23:10 小#安 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 显示mysql的数据库sqoop list-databases --connect jdbc:mysql://192.168.218.133:3306/hive --username root --password 123456 显示mysql数据库中所有的表sqoop list-tables -- 阅读全文
posted @ 2018-07-27 23:05 小#安 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 查hive报错信息hive -hiveconf hive.root.logger=DEBUG,console 启动元数据库hive --service metastore hive --service hiveserver -v 开启 阅读全文
posted @ 2018-07-27 23:04 小#安 阅读(309) 评论(0) 推荐(0) 编辑
摘要: 以下全部在kafka目录下进行开启zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties开启kafkanohup bin/kafka-server-start.sh config/server.properties &创建 阅读全文
posted @ 2018-07-27 23:03 小#安 阅读(491) 评论(0) 推荐(0) 编辑
摘要: package bao; import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement 阅读全文
posted @ 2018-07-27 23:01 小#安 阅读(412) 评论(0) 推荐(0) 编辑
摘要: sqooplist-databases:列出所有数据库$ sqoop list-databases --connect jdbc:mysql://192.168.218.134:3306 --username root --password 111列出库中所有表$ sqoop list-tables 阅读全文
posted @ 2018-07-27 22:51 小#安 阅读(263) 评论(0) 推荐(0) 编辑
摘要: hadoop web为standy,将其变为active:hdfs haadmin -transitionToActive --forcemanual nn1spark scala语言写的 RDD resilient distributed datatest,弹性分布式数据集val 调度器 三级调度 阅读全文
posted @ 2018-07-27 22:50 小#安 阅读(82) 评论(0) 推荐(0) 编辑
摘要: 读源码 第三天 1 job提交源代码考察 第三天 2 本地并发度设置 第三天 3 分区切片计算 第三天 4 job提交过程分析 第三天 5 job提交过程分析 阅读全文
posted @ 2018-07-27 22:49 小#安 阅读(50) 评论(0) 推荐(0) 编辑
摘要: 对源码的解析 第四天 1 spark提交作业过程图形化解释1 第四天 2 spark提交作业2 第四天 3 spark提交作业3 阅读全文
posted @ 2018-07-27 22:49 小#安 阅读(45) 评论(0) 推荐(0) 编辑
摘要: spark编程指南 英文版:http://spark.apache.org/docs/latest/streaming-programming-guide.htmlspark1.val a=sc.textFile("/opt/spark/user/word") //弹性分布式数据集2.val b=a 阅读全文
posted @ 2018-07-27 22:48 小#安 阅读(94) 评论(0) 推荐(0) 编辑