09 2020 档案

摘要:在hive的安装目录下,进入conf目录,创建一个hive-site.xml文件 根据官方文档配置参数,拷贝数据到hive-site.xml文件中 https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin 阅读全文
posted @ 2020-09-30 21:04 孙晨c 阅读(251) 评论(0) 推荐(0) 编辑
摘要:@ 实际数据的存储 Hive要分析的数据是存储在HDFS上 hive中的库的位置,在hdfs上就是一个目录! hive中的表的位置,在hdfs上也是一个目录,在所在的库目录下创建了一个子目录! hive中的数据,是存在在表目录中的文件! 分隔符 表在创建时,有分隔符属性,这个分隔符属性,代表在执行M 阅读全文
posted @ 2020-09-30 17:23 孙晨c 阅读(251) 评论(0) 推荐(1) 编辑
摘要:@ 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL转化成MapReduce程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据 阅读全文
posted @ 2020-09-30 17:16 孙晨c 阅读(155) 评论(0) 推荐(1) 编辑
摘要:当搭建好分布式集群后,准备使用命令格式化时 hdfs namenode format 在日志的最后一行出现 java.net.unknownhostexception的异常,通常是你的主机名没有配置好,在core-site.xml文件中的主机名与hosts文件、network文件里的主机名不一致。 阅读全文
posted @ 2020-09-26 22:56 孙晨c 阅读(514) 评论(0) 推荐(0) 编辑
摘要:@ 1.集群规划 在hadoop101、hadoop102和hadoop103,这三个节点上部署Zookeeper。 2.解压安装 (1)在101机器上,解压Zookeeper安装包到/opt/module/(自己创建)目录下 tar -zxvf zookeeper-3.4.10.tar.gz -C 阅读全文
posted @ 2020-09-26 16:50 孙晨c 阅读(175) 评论(0) 推荐(0) 编辑
摘要:@ 1.安装前准备 (1)安装Jdk (2)拷贝Zookeeper安装包到Linux系统下e (3)解压到指定目录 tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 2.配置修改 (1)将/opt/module/zookeeper-3.4.10/co 阅读全文
posted @ 2020-09-24 20:59 孙晨c 阅读(121) 评论(0) 推荐(0) 编辑
摘要:@ 概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。 Zookeeper工作机制 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zoo 阅读全文
posted @ 2020-09-24 20:39 孙晨c 阅读(200) 评论(0) 推荐(0) 编辑
摘要:1)导包容易出错。尤其Text和CombineTextInputFormat。 2)Mapper中第一个输入的参数必须是LongWritable或者NullWritable,不可以是IntWritable. 报的错误是类型转换异常。 3)java.lang.Exception: java.io.IO 阅读全文
posted @ 2020-09-16 16:58 孙晨c 阅读(335) 评论(0) 推荐(0) 编辑
摘要:以下是博客的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的) 求出哪些人两两之间有共同好友,及他俩的共同好友都有谁? 输出格式: A-B:C,E (用户-用户:共同好友...) 需求分析 分为两个job 第一次输出结果,先求出A、B、C、….等是谁的好友 Job1 阅读全文
posted @ 2020-09-16 16:56 孙晨c 阅读(354) 评论(0) 推荐(0) 编辑
摘要:@ 1.输入数据接口:InputFormat (1)默认使用的实现类是:TextInputFormat (2)TextInputFormat的功能逻辑是:一次读一行文本,然后将该行的起始偏移量作为key,行内容作为value返回。 (3)KeyValueTextInputFormat每一行均为一条记 阅读全文
posted @ 2020-09-16 15:41 孙晨c 阅读(259) 评论(0) 推荐(0) 编辑
摘要:@ 打开\创建文件 在python,使用open函数,可以打开一个已经存在的文件,或者创建一个新文件,默认在当前程序所在文件夹下创建新文件。 格式:open(文件名,访问模式),例如 f = open('test.txt','w') #以写模式打开文件,不存在就创建新文件 创建新文件时如果不指定模式 阅读全文
posted @ 2020-09-16 10:56 孙晨c 阅读(211) 评论(0) 推荐(0) 编辑
摘要:@ dict(字典) 字典是无序的对象集合,使用键-值(key-value)存储,具有极快的查找速度。 键(key)必须使用不可变类型。 同一个字典中,键(key)必须是唯一的。 常用操作 # @FILE : demo4_dict.py # @SoftWare : PyCharm ''' #字典定义 阅读全文
posted @ 2020-09-15 15:51 孙晨c 阅读(264) 评论(0) 推荐(0) 编辑
摘要:@ Tuple(元组) tuple与list类似,不同之处在于tuple的元素不能修改。tuple写在小括号里,元素之间用逗号隔开。 元组的元素不可变,但可以包含可变对象,如ist。 注意:定义一个只有1个元素的tuple,必须加逗号。 常用操作 实例 # @FILE : demo3_tuple.p 阅读全文
posted @ 2020-09-15 14:56 孙晨c 阅读(142) 评论(0) 推荐(0) 编辑
摘要:根据products列表写一个循环,不断询问用户想买什么,用户选择一个商品编号, 就把对应的商品添加到购物车里,最终用户输入q退出时,打印购买的商品列表。 products = [["iphone",6888],["MacPro",14800],["小米6",2499],["Coffee",31], 阅读全文
posted @ 2020-09-15 10:56 孙晨c 阅读(305) 评论(0) 推荐(0) 编辑
摘要:@ List(列表)简述 列表可以完成大多数集合类的数据结构实现 列表中元素的类型可以不相同,它支持数字,字符串甚至可以包含列表(嵌套) 列表是写在方括号[]之间、用逗号分隔开的元素列表 列表索引值以0为开始值,-1为从末尾的开始位置。列表可以使用+操作符进行拼接,使用*表示重复 初试牛刀 list 阅读全文
posted @ 2020-09-09 22:46 孙晨c 阅读(193) 评论(0) 推荐(0) 编辑
摘要:解码常用方法 bytes.decode(encoding="utf-8",errors="strict"),Python3中没有 decode方法,但我们可以使用bytes对象的decode()方法来解码给定的bytes对象,这个bytes对象可以由str.encode()来编码返回。 编码常用方法 阅读全文
posted @ 2020-09-09 21:13 孙晨c 阅读(555) 评论(0) 推荐(0) 编辑
摘要:for i in range(5): # 切不能忘记冒号,它代表了下面的循环体的开始 print(i) #输出 0 1 2 3 4 ,默认从0开始,不包含最后一个数 for i in range(0,11,3): #从0开始,到11结束,3指的是步进长度(每次加3) print(i) for i i 阅读全文
posted @ 2020-09-09 10:21 孙晨c 阅读(190) 评论(0) 推荐(0) 编辑
摘要:程序开始,显示下面提示信息: 请输入:剪刀(0)、石头(1)、布(2): 用户输入数字0-2中的一个数字,与系统随机生成的数字比较后给出结果信息。 例如:输入0后,显示如下 你的输入为:剪刀(0) 随机生成数字为: 2 恭喜,你赢了 代码: #-*- coding = utf-8 -*- # @Ti 阅读全文
posted @ 2020-09-08 21:46 孙晨c 阅读(636) 评论(0) 推荐(0) 编辑
摘要:在python用import或者from...import来导入相应的模块。 将整个模块(somemodule)导入,格式为:importr somemodule 从某个模块中导入某个函数格式为:from somemodule import somefunction 从某个模块中导入多个函数,格式为 阅读全文
posted @ 2020-09-08 21:32 孙晨c 阅读(266) 评论(0) 推荐(0) 编辑
摘要:@ 变量及类型 在python中,变量可以是任意的数据类型,在程序中用一个变量名表示 变量名必须是大小写英文、数字和下划线( _ )的组合,且不能以数字开头,如: a=1 #变量a是一个整数 t007='T007” #变量t007是一个字符串 赋值(比如a="ABC")时,Python解释器干了两件 阅读全文
posted @ 2020-09-08 15:15 孙晨c 阅读(102) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示