摘要：
在spark中读取es的数据pom.xml 4.0.0 com.test spark 0.0.1-SNAPSHOT jar UTF-8 2.11.6 2.11.6 ... 阅读全文
摘要：
在mapreduce中读取protobuf数据时，会遇到一个坑BytesWritable。当你把byte[]数据保存到BytesWritable后，通过BytesWritable.getBytes()再读到的数据并不一定是原数据，可能变长了很多，这是因为BytesWritable采用了自动内存增长算... 阅读全文
摘要：
spark1.3.1搭配hadoop2.6.0，同时支持standalone和yarnspark-env.shexport SCALA_HOME=/home/hadoop/scala-2.11.6 #standaloneSPARK_WORKER_CORES=8SPARK_WORKER_MEMORY... 阅读全文
摘要：
hadoop2.6.0配置模板core-site.xml hadoop.tmp.dir /home/hadoop/hadoop/tmp fs.defaultFS hdfs://master:9000 hdfs-si... 阅读全文
摘要：
jnetpcap是用java对libpcap的一个封装，它可以用来监听网卡，捕获数据包CaptureCore.javapackage nssa.nm.capture; import java.util.ArrayList;import java.util.List;import javax.swin... 阅读全文
摘要：
保护linux系统的安全，首先考虑的就是ssh登录的安全日志来源如下：/var/log/secure（centos）/var/log/auth.log（ubuntu）其实日志名是可以配置的，不过一般没人改，配置方法如下：/etc/ssh/sshd_confSyslogFacility AUTHPR... 阅读全文
摘要：
通过分析mysql日志来检测sql注入。对于mysql注入的防御思路：禁止访问系统表主要是information_schema表，这里包含了数据库中表结构等关键信息，拖库时非常依赖这个表。关注敏感系统函数如sleep等，太多不一一列举等等PS：在mysql日志这一层面检测sql注入的好处是不用考虑编... 阅读全文
摘要：
planetary.js可以创建一个可交互的地球index.html test ×Close Tips 按空格键可以使视角固定在中国上方。 ... 阅读全文
摘要：
django环境搭建首先下载需要的源码包然后按照如下步骤安装yum install apr-develyum install apr-util-develyum install atlas-develcd python && ./configure --prefix=/home/work/env/p... 阅读全文
摘要：
学生时代的小玩具用C#.net开发的一个用来抓取当当网计算机类图书信息的工具Program.csusing System;using System.Collections.Generic;using System.Linq;using System.Windows.Forms;namespace s... 阅读全文