摘要：
程序输入与输出¶ 打印字符串¶ In [1]: myString = "hello word" print myString hello word 格式化字符串¶ In [7]: print "%s is number %d!"%("python",1) print "{} is number {} 阅读全文
摘要：
PS：这还是17年一次数据挖掘训练营使用的软件 【转至】https://blog.csdn.net/m0_37605642/article/details/98726766 安装和配置 1.在官网或清华镜像网站下载Anaconda3https://mirrors.tuna.tsinghua.edu. 阅读全文
摘要：
原文地址：https://www.cnblogs.com/duma/p/10666269.html 建议：结合第四版Hadoop权威指南阅读，更有利于理解 运行机制 运行一个 MR 程序主要涉及以下 5 个部分： 客户端： 提交 MR 作业，也就是我们运行 hadoop jar xxx 的命令后，启 阅读全文
摘要：
HBase用途： 基于Hadoop Distributed File System，是一个开源的，基于列存储模型的分布式数据库。HBase简介： HBase是一个分布式的、多版本的、面向列的开源数据库 1）利用Hadoop HDFS作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写的 阅读全文
摘要：
目的：1、了解大数据主流技术的基本原理及技术特点，从而把握各种大数据计算框架及未来发展方向，在大数据时代能为企业的技术选型及架构设计提供决策参考。2、了解主流大数据技术应用基础、技术特征和使用场景等。3、了解最新的大数据系统工具以及大数据处理的基本过程和方法。1）大数据关键技术介绍 √ 分三类：存储 阅读全文
摘要：
PS：实操部分就省略了哈，准备最近好好看下理论这块，其实我是比较懒得哈！！！ <?>MapReduce的概述 MapReduce是一种计算模型，进行大数据量的离线计算。MapReduce实现了Map和Reduce两个功能：其中Map是滴数据集上的独立元素进行指定的操作，生成键——值对形式中间结果。其 阅读全文
摘要：
唠叨些许 一个月前我结束了三年多的“北漂”生活，并于3月28号南下深圳，完成了一次从大帝都到大深圳的跨越。 从到达深圳到接受offer，前前后后一共花了12天的时间，期间面了13家公司。 之前也有说道过，有时间会把这次面试的一些想法都整理出来，刚好趁着4月的招聘季，看看能否给其他一些朋友些许的参考帮 阅读全文
摘要：
作者：陈晨链接：https://www.zhihu.com/question/25542750/answer/493835356来源：知乎 其实这就是想告诉你的大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易，哪个前景好，哪个钱多。 先扯一 阅读全文
摘要：
2019.10.6 parse：解析mean：平均数stddev：标准偏差 2019.10.7 bigdata platform：大数据平台 2019.10.14 allocate resource 分配资源 retrieve job resources 取回作业资源 2019.10.21 logi 阅读全文
摘要：
注：本章不涉及spark和scala原理的探讨，详情见其他随笔 一、分布式估算圆周率计算原理：假设正方形的面积S等于x²，而正方形的内切圆的面积C等于Pi×(x/2)²，因此圆面积与正方形面积之比C/S就为Pi/4，于是就有Pi=4×C/S。可以利用计算机随机产生大量位于正方形内部的点，通过点的数量 阅读全文