摘要： 优化sql，啥也别想先上索引，join，where，order by，group by 的字段加索引，用那些字段select哪些字段，千万别select * from table，看的真的很难受，加where减小数据集，小表在前大表后，inner jion可以的话不用left jion，减小结果集。 阅读全文

摘要： 最近在做数据交互，涉及外网和内网的数据交互问题。因为数据的保密性，安全性，无法建立直达通道。提供了互联网前置机，内网前置机，开放指定端口用于数据互通，但数据库等默认，相似端口不允许开放。 数据的来源比较丰富，也有实时，离线数据等待互通。于是我们需要在前置机搭建数据抽取服务。考虑点如下： 1.数据源可 阅读全文

摘要： 今日在做节点可靠性测试的时候，错误重启了yarn整个服务，其hdfs等他组件正常，yarn过会自动僵死，导致整个平台资源调度问题，恢复步骤如下： 1.查看日志tail -f yarn-resourcemanger-192.168.1.233.log（不清楚你的日志在哪可以find / -name y 阅读全文

摘要： git的使用在企业中是不可缺少的，git的使用和在linux下 安装如下。 1.安装十分简单： sudo apt-get install git就可以直接完成Git的安装 失败的话使用sudo apt-get install git-core。 2.使用流程 1）创建版本库：找一个合适的地方创建版本 阅读全文

摘要： hive在大数据套件中占很的地位，分享下个人经验。 1.在hive日常开发中，我们首先面对的就是hive的表和库，因此我要先了解库，表的命名规范和原则 如 dwd_whct_xmxx_m 第1部分为表数据仓库分层：可能取值为ods，dwd（dw明细层），dws（dw汇总层），ads（应用层）等。 第 阅读全文

摘要： 在开始看面试题时，我觉得我们很有必要去了解一下市场需要什么样的python开发人员： 1.python爬虫工程师（scrapy，xpath，正则，mongdb，redis，http 协议，html） 2.python web（django，flask，mysql，nuittest，http，html 阅读全文

摘要： 目前面试了多家大数据开发工程师，成长了很多，也知道了很多知识，下面和大家分享一下我遇到的面试题和答案。 1.kafka集群的规模，消费速度是多少。 答：一般中小型公司是10个节点，每秒20M左右。 2.hdfs上传文件的流程。 答：这里描述的 是一个256M的文件上传过程 ① 由客户端 向 Name 阅读全文

摘要： 做大数据开发经常遇上在众多数据中统计前几的问题，比如王者荣耀每个区的富豪排行榜（腾讯可以做个刺激消费，😄） 我们在众多数据中抽取了如下数据： 所在区，用户名，每次充值数。（a，role1，158）（a，role1，15）（c，role1，18）（b,role3,123） 如上数据可以自行添加多条的 阅读全文

摘要： 本文将为初学者的搭建简单的伪分布式集群，将搭建一台虚拟机，用于学习Hadoop 工具：vm虚拟机，centOS7，jdk-8，Hadoop2.7，xftp，xshell 用户：在虚拟机中创建一个hadoop用户并加入到root组中useradd -m hadoop -G root -s /bin/b 阅读全文

摘要： Django的使用我们可以查看上一篇博客，今天我们要在Django中使用easyui快速开发，在我们安装好Django， 我们可以道改地址那一下easyui 官方API文档（http://download.csdn.net/album/detail/343） 1.我们要在Django项目建立静态资源 阅读全文