SaltFishYe

摘要： 写这篇随笔的原因在于本人在网上看了很多相关博客很多文章内容给出的用法都一致是如下形式： 1 reduceByKeyAndWindow(_ + _,_ - _,Minutes(2),Seconds(10),2) 但是详细描述函数的各个参数怎么使用，为什么要怎么写，可以怎么修改参数的文章基本没看到。于是 阅读全文

摘要： UDAF全称时User Defined Aggregate Function，即用户自定义集合函数，就是多个输入值一个输出值的函数。 首先思考聚合函数，怎么使用函数把多个值合成一个值。 先不考虑sparkSQL提供的开发api，考虑多个值聚合，首先得想到有个函数，接收多个单独的数值，进行函数计算，可 阅读全文

摘要： Hive 1.x将与HBase 0.98.x及更低版本保持兼容，Hive 2.x将与HBase 1.x及更高版本兼容 ，其实直接使用cdh版本就好 如果说版本之间并不兼容，可以尝试编译hive或hbase--》会编译hive 将hbase的表数据映射到hive表中，在hive对数据进行分析、计算 数 阅读全文

摘要： 首先看mapreduce流程: 除去输入和输出之后，数据计算只有三个步骤，map，combine，reduce，其中只有map和reduce过程是必要过程，combine若不设置可以略过这一计算过程 首先map过程从数据源读取数据，根据设置的mapper数多个核心同时读取数据，然后在combine过 阅读全文

摘要： 指令基于HBase1.2.1 help "COMMAND" 可以在直接看到命令使用指南，在此只写出常用命令，基本指令格式都是 COMMAND 'namespace:table' , .... , {options} 形式 list_namespace 查看所有命名空间 list_namespace_ 阅读全文

摘要： 因为工作中经常需要excel或者报表输出，了解到pivot函数，查了部分资料，实在不够详尽，便想自己写一篇。pivot了解不深，只写写简单用法。 table t{ c1,c2,c3,c4 } 有库表t，其中有字段c1,c2,c3,c4 select * from (select c1,c2,c3,c 阅读全文

摘要： 凡是可作用于for循环的对象都是Iterable类型； 凡是可作用于next()函数的对象都是Iterator类型，它们表示一个惰性计算的序列； 集合数据类型如list、dict、str等是Iterable但不是Iterator，不过可以通过iter()函数获得一个Iterator对象。 输出： 可 阅读全文

摘要： 从最初的想法，再经常几次算法改动，用公司的破电脑计算前10W个质数，用时仅4s+；计算1W个质数仅用时0.1s+。 从最开始说起 一个群里说到计算质数有个群友给出了个算法，我刚好来了兴趣，提出了优化算法。 群友提出的过程和现在网上随意查到的都差不多，无非是遍历奇数，然后判断奇数小于奇数一定值的所有数 阅读全文

摘要： UDP的通信双方也分为客户端和服务器，但是在个人理解中这方面UDP并没有严格区分，发送请求的为客户端，响应请求的为服务端。 要在python中使用udp首先要先导入socket s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) 上述例子中便创建 阅读全文

摘要： ajax主要用于与服务器进行异步交互数据（当然技术上也能做同步处理）。 因为传统的非ajax的web交互，是整个浏览器将数据传到后台处理，而后台处理时，用户只能等待，这样就非常效率低下。而且服务器会返回整个html页面，用户还得等待整个页面加载。这样是非常浪费资源。 ajax就可以做到在用户触发aj 阅读全文