摘要： 版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=266 背景 nginx是一款非常优秀的网络代理工具，但是其日志管理有点缺憾：nginx的access_log会无限的增长。我们希望的是它能按照日期去做日志分割。一般有两种方法，自己写脚本实现，一种是使用现成的lo 阅读全文

摘要： > **版权申明：转载请注明出处。**> **文章来源：http://bigdataer.net/?p=239** ### 1.关于我本人现在北京某大型互联网公司高级数据开发工程师一枚，三年工作经验，一年多面试官经验。### 2.为啥要写这篇文章？面试中经常会遇到这种情况：之前专心写web的Java码农突然转型想做大数据了，然后写几个大数据的项目经验跑来面试，结果就是一问三不知，还有好多人只是搭了... 阅读全文

摘要： 版权申明：转载请注明出处。文章来源：bigdataer.net 1.什么是spark-streaming？ 实际生产中会有许多应用到实时处理的场景，比如：实时监测页面点击，实时监测系统异常，实时监测来自于外部的攻击。针对这些场景，twitter研发了实时数据处理工具storm，并在后来开源。spark针对这些场景设计了spark-streaming实时计算模型，它允许用户使用一系列批处理的API... 阅读全文

摘要： 1.为什么要写这篇文章？ 一是因为经常逛知乎，发现好些知乎大神的签名上都放的自己的微信公众号，但是关注之后就回一句简单的谢谢关注之类的话，缺乏互动性。二来是之前网盘共享了一堆本科生的毕设，为了防止别有用心的人拿去卖，加了密码，想要获取密码的话得加我微信验证。最近好多人都来加微信求密码，实在忙不过来，于是就想到了搞一个微信公众号的聊天机器人。于是乎借着周末的时间搞了一个能自动回复密码的机器人儿，但是... 阅读全文

摘要： 版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=248 排版乱？请移步原文获得更好的阅读体验 数据准确性，稳定性，时效性是数据开发中需要重点关注的，一般称之为数据质量。保证数据质量往往会占用数据开发工程师的很多精力，所以一个好的数据监控系统或者一个合理的数据监控方 阅读全文

摘要： 3.scala容器 3.scala容器scala大数据 3.1数组 （1） 定长数组（Array） //直接声明使用 val array = Array("a","b","c") //设置数组长度并赋值 val array = new Array[String](3) array(0) = "a" array(1) = "b" array(2) = "c" ... 阅读全文

摘要： 2.scala控制结构、函数、异常处理---小书匠,在线编辑器,MARKDOWN,Evernote,文件版本 2.scala控制结构、函数、异常处理scala，大数据 2.1条件表达式 （1）if表达式有返回值，如val result = if(x>0) 0 else -1 ,则result值可能为0或-1 （2）if表达式分支语句返回值的类型不一致时，则表达式... 阅读全文

摘要： 1.scala中的变量 scala中的变量分为不可变变量和可变变量。不可变变量声明为 val a = 0 可变变量声明为 var a = 0 可以不用制定变量的类型，scala语言有强大的类型推断。当然，在必要的时候也可以指定类型，如 val a:String ="hello" 2.scala中的数据类型 scala中不刻意区分基本数据类型和引用数据类型。同样的，也不需要包装类型。 ... 阅读全文

摘要： 大的 阅读全文