03 2017 档案

摘要:链接 "Github项目地址" "软件安装包(pycharm、注册码、解析器等)" "Python 一切皆对象" "Python 编码规范" "The Python Standard Library" "The Python Language Reference" "The Python Tutor 阅读全文
posted @ 2017-03-22 12:04 星空str 阅读(547) 评论(0) 推荐(0)
摘要:Python从设计之初就是一门面向对象的语言,它有一个重要的概念,即一切皆对象。 Java虽然也是面向对象编程的语言,但是血统没有Python纯正。比如Java的八种基本数据类型之一int,在持久化的时候,就需要包装成Integer类对象。但是在python中,一切皆对象。数字、字符串、元组、列表、 阅读全文
posted @ 2017-03-22 10:19 星空str 阅读(7106) 评论(0) 推荐(4)
摘要:链接相关 软件(pycharm、注册码等):http://pan.baidu.com/s/1o8GyXkQ 密码:n2jg 资料(课件、代码):http://pan.baidu.com/s/1mh8fuZm 视频(机器学习):http://pan.baidu.com/s/1sl0JMJr 密码:想要 阅读全文
posted @ 2017-03-21 11:57 星空str 阅读(274) 评论(0) 推荐(0)
摘要:Google官方英文版编码规范, 请移步 "Google Style Guide" 以下代码中 Yes 表示推荐,No 表示不推荐。 分号 不要在行尾加分号, 也不要用分号将两条命令放在同一行。 行长度 每行不超过80个字符 以下情况除外: 1、长的导入模块语句 2、注释里的URL 不要使用反斜杠连 阅读全文
posted @ 2017-03-21 11:49 星空str 阅读(280) 评论(0) 推荐(0)
摘要:MapReduce简介 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是它们的主要思想。 MapReduce极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 WordCount单词计数 阅读全文
posted @ 2017-03-04 15:24 星空str 阅读(1354) 评论(0) 推荐(0)
摘要:Hadoop业务的大致开发流程以及Flume在业务中的地位: 从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。 Flume概念 flume是分布式的日志收集系统,它将各个服务器中的数据收集起来 阅读全文
posted @ 2017-03-04 15:23 星空str 阅读(138) 评论(0) 推荐(0)
摘要:Hive简介 Hive 基本介绍 Hive 实现机制 Hive 数据模型 Hive 如何转换成MapReduce Hive 与其他数据库的区别 以上详见:https://chu888chu888.gitbooks.io/hadoopstudy/content/Content/8/chapter8.h 阅读全文
posted @ 2017-03-04 15:23 星空str 阅读(1802) 评论(0) 推荐(0)
摘要:Hadoop业务的大致开发流程以及Sqoop在业务中的地位: Sqoop概念 Sqoop可以理解为【SQL–to–Hadoop】,正如名字所示,Sqoop是一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具。它可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoo 阅读全文
posted @ 2017-03-04 15:22 星空str 阅读(1036) 评论(0) 推荐(0)
摘要:环境相关 系统:CentOS 6.8 64位 jdk:1.7.0_79 hadoop:hadoop 2.7.2 安装java环境 详见: "linux中搭建java开发环境" 创建hadoop用户 <! more 可为hadoop用户增加管理员权限,避免一些对新手来说比较棘手的权限问题。 保存退出后 阅读全文
posted @ 2017-03-04 15:21 星空str 阅读(4996) 评论(0) 推荐(0)