大数据入门到精通19--mysql 数据导入到hive数据中
摘要：一。正常按照数据库和表导入 \\前面介绍了通过底层文件得形式导入到hive的表中，或者直接导入到hdfs中，\\现在介绍通过hive的database和table命令来从上层操作。sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila"
阅读全文
摘要：一，选择数据库，这里使用标准mysql sakila数据库 mysql -u root -D sakila -p 二。首先尝试把表中的数据导入到hdfs文件中，这样后续就可以使用spark来dataframe或者rdd来处理数据 sqoop import --connect "jdbc:mysql:
阅读全文
摘要：一。union all 的用法。使用union all 或者 unionselect * from rental where rental_id <10union allselect * from rental where rental_id >30 and rental_id <40 二。disc
阅读全文
摘要：一。条件表达 case when ... then when .... then ... when ... then ...end select film_id,rpad(title,20," "),case when rating in ("G","PG","PG-13") then "YOUNG
阅读全文
摘要：一、基本操作 concat(string,string,string)concat_ws(string,string,string)select customer_id,concat_ws(" ",first_name,last_name),email,address_id from custome
阅读全文
摘要：We will be using the sakila database extensively inside the rest of the course and it would be great if you can follow the installation process below.
阅读全文
摘要：一、获得最初的数据并形成dataframe val ny= sc.textFile("data/new_york/")val header=ny.firstval filterNY =ny.filter(listing=>{ listing.split(",").size==14 && listin
阅读全文
摘要：// dataframe is the topic 一、获得基础数据。先通过rdd的方式获得数据 val ny= sc.textFile("data/new_york/")val header=ny.firstval filterNY =ny.filter(listing=>{ listing.sp
阅读全文
摘要：//groupbykey 一、准备数据val flights=sc.textFile("data/Flights/flights.csv")val sampleFlights=sc.parallelize(flights.take(1000))val header=sampleFlights.fir
阅读全文
摘要：本章节实现一个真正得wordcount 得spark程序。 一、从本地获得一个数据集 val speechRdd= sc.parallelize(scala.io.Source.fromFile("/home/hdfs/Data/WordCount/speech").getLines.toList)
阅读全文
摘要：一.做基础数据准备 这次使用fights得数据。 scala> val flights= sc.textFile("/user/hdfs/data/Flights/flights.csv")flights: org.apache.spark.rdd.RDD[String] = /user/hdfs/
阅读全文
摘要：培训系列7--对复合value做reduce 1.做基础数据准备 val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")val header= collegesRdd.first val headerlessRdd= colle
阅读全文
摘要：1.前期数据准备（同之前的章节） val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")val header= collegesRdd.first val headerlessRdd= collegesRdd.filter( l
阅读全文
摘要：培训系列5--spark 的 RDD 的 reduce方法使用 1.spark-shell环境下准备数据 val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")val header= collegesRdd.first val
阅读全文
摘要：学习了之前的rdd的filter以后，这次来讲spark的map方式 1.获得文件 val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")val header= collegesRdd.first 2.通过filter获得纯粹的
阅读全文
摘要：一。如何处理RDD的filter 1. 把第一行的行头去掉 scala> val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")collegesRdd: org.apache.spark.rdd.RDD[String] = /u
阅读全文
摘要：通过hdfs或者spark用户登录操作系统，执行spark-shell spark-shell 也可以带参数，这样就覆盖了默认得参数 spark-shell --master yarn --num-executors 2 --executor-memory 2G --driver-memory 15
阅读全文
摘要：1.使用hdfs用户或者hadoop用户登录 2.在linux shell下执行命令 hadoop fs -put '本地文件名' hadoop fs - put '/home/hdfs/sample/sample.txt' hadoop fs -ls / 列出具体的文件名。 hadoop fs -
阅读全文
