摘要： sun.misc.BASE64Decoder在jdk1.9之后就被移除，解决方法 1.直接用 java.util.Base64.Encoder 和 java.util.Base64.Decoder 替代使用。可以直接使用以下方法： import java.util.Base64.Encoder im 阅读全文

摘要： 1.将在线环境的maven库整体复制到内网环境 2.eclipse的windos-prferences-maven-user Settings 里面，user settings 里面指向自定义的setting.xml，setting.xml里面只需要写上库的地址和 <offline>false</o 阅读全文

摘要： 由于换了新的笔记本，屏幕换成了4k屏幕，打开了eclipse之后，工具栏太小了，感觉眼镜要瞎了。。。 百度了一番，有说改注册表然后添加eclipse.exe.manifest文件，测试之后eclipse直接打不开了，可能是因为我eclipse版本过高了 后来找到windos设置exe的高dpi设置， 阅读全文

摘要： 版本 spark2.0 疑问： 1.按照理解，sparksession.sql()是不会立即执行的，只有后面的collect等方法执行的时候才会触发，那为什么执行insert...select的时候不需要再执行acrion方法就可以生效 2.如何在遍历spark Streaming的过程中使用spa 阅读全文

摘要： 第一次跑mapreduce，记录遇到的几个问题，hadoop集群是CDH版本的，但我windows本地的jar包是直接用hadoop2.6.0的版本，并没有特意找CDH版本的 1.Exception in thread "main" java.lang.NullPointerException at 阅读全文

摘要： 一.新建maven的java工程 1.eclipse里file-new-other，选择maven Project 2.选中 Use default Workspace location,然后 next 3.选择maven-archetype-quitstart,然后next 4.填入工程信息，然后 阅读全文

摘要： centos在线安装svn 1. 用下列命令安装svn服务 2. 创建svn版本库目录 3. 创建版本库 执行了这个命令之后会在/var/svn/svnrepos目录下生成如下这些文件 4. 进入conf目录（该svn版本库配置文件） authz文件是权限控制文件 passwd是帐号密码文件 svn 阅读全文

摘要： 记一次部署工程的时候遇到的问题 部署war包到win7的时候发现,布上去后插入数据库的中文会乱码,然后发现用eclipse运行源码没问题,一开始以为是war打出来的时候编码错误,然后将eclipse的tomcat部署的地址改为tomcat的安装位置,然后以tomcat的startup.bat启动,发 阅读全文

摘要： kafka集群安装 使用的版本 系统:centos6.5 centos6.7 jdk:1.7.0_79 zookeeper:3.4.9 kafka:2.10 0.10.1.0 一.环境准备[只列,不具体写] 1.安装jdk 2.更改机器名 3.添加所有机器的host 二.安装步骤 2.1安装zook 阅读全文

摘要： 官方有详细的使用文档：http://webmagic.io/docs/zh/ 简介：这只是个java爬虫框架，具体使用需要个人去定制，没有图片验证，不能获取js渲染的网页，但简单易用，可以通过xpath和css选择符获取网页内容，官方也有超详细的文档，适合爬取简单的网页和新手学习爬虫。图片验证和js 阅读全文