摘要: 问题: Task not Serialable 查找问题: 通过查看Spark job日志,确定问题 org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ens 阅读全文
posted @ 2017-09-30 14:26 lily-tiantian 阅读(465) 评论(0) 推荐(0) 编辑
摘要: 1.方法一.直接删除Topic a:如果Kafka服务器 delete.topic.enable=false 1) kafka-topics.sh --delete --zookeeper host:port --topic topicname 2) 删除kafka存储目录(server.prope 阅读全文
posted @ 2017-09-28 18:29 lily-tiantian 阅读(344) 评论(0) 推荐(0) 编辑
摘要: 1.Install PostgreSql9.3 a:yum install copy repository to: /etc/yum/yum.repos.d yum -y install postgresql93-server postgresql93-contrib --skip-broken yum install http://yum.postgresql.org/9.5/redhat/r... 阅读全文
posted @ 2016-08-11 16:22 lily-tiantian 阅读(486) 评论(0) 推荐(0) 编辑
摘要: 问题来源: inux下处理windows utf8文件,发现vim头会多一个,从而导致正常的文件解析出错。 一般默认创建的文件都是ANSI编码的。用记事本打开这个文件,点"另存为",最下面有个"编码(Encoding)"可以选择,里面有"ANSI,utf8"等选项。 问题知识: 所谓 BOM,全称是Byte Order Mark,它是一个Unicode字符,通常出现在文本的开头... 阅读全文
posted @ 2016-04-22 11:01 lily-tiantian 阅读(1498) 评论(0) 推荐(0) 编辑
摘要: SET FOREIGN_KEY_CHECKS = 0; truncate table gune_crawler_domain; 阅读全文
posted @ 2015-12-31 14:38 lily-tiantian 阅读(354) 评论(0) 推荐(0) 编辑
摘要: 1)Create Active Directory Service 配置Active Directory 域服务 开始菜单-->运行-->输入命令“dcpromo”点击“确定” 按钮 进入安装界面 弹出 Active Directory 域服务安装向导,并点击“下一步”按钮 点击“下一步”按钮 选择“在新林中新建域”并点击“下一步”按钮 输入域名并点击“下一步”按钮 林功能级别... 阅读全文
posted @ 2015-12-28 11:25 lily-tiantian 阅读(1380) 评论(0) 推荐(0) 编辑
摘要: 做法是:管理工具----组策略管理----组策略对象----Default Domain Policy----设置(或者运行gpmc.msc),找到安全设置中的 帐户策略/密码策略, 右击该选项进行编辑,在弹出的界面进行如下操作 “计算机配置”----- “策略”----- “windows设置”------“安全设置”-------“帐户策略” 接着就可以随心所欲的进行更改了。 更改完后 以... 阅读全文
posted @ 2015-12-24 18:37 lily-tiantian 阅读(388) 评论(0) 推荐(0) 编辑
摘要: GPT:Globally Unique Identifier Partition Table Format是一种分区表格式,和MBR相对应,mac的系统都是安装在GPT格式的硬盘上的 EFI:可扩展固件接口英文名Extensible Firmware Interface 的缩写,是英特尔,一个主导个人电脑技术研发的公司推出的一种在未来的类PC的电脑系统中替代BIOS的升级方案。 GPT的出现是... 阅读全文
posted @ 2015-12-24 18:34 lily-tiantian 阅读(320) 评论(0) 推荐(0) 编辑
摘要: 1.下载wkhtmltopdf http://wkhtmltopdf.org/downloads.html 2.Install sudo yum localinstall -y wkhtmltox-0.12.2.1_linux-centos6-amd64.rpm [conversant@ss3 temp]$ which wkhtmltopdf /usr/local/bin/wkhtml... 阅读全文
posted @ 2015-12-21 16:41 lily-tiantian 阅读(685) 评论(0) 推荐(0) 编辑
摘要: 1.在A机生成公钥和私钥 ssh-keygen -t rsa –P 一般采用的ssh的rsa密钥: id_rsa 私钥 id_rsa.pub 公钥 下述命令产生不同类型的密钥 ssh-keygen -t dsa 2.把A机下的/root/.ssh/id_rsa.pub 复制到B机的 /root/.ssh/authorized_keys文件里,先要在B机上创建... 阅读全文
posted @ 2015-12-16 17:49 lily-tiantian 阅读(168) 评论(0) 推荐(0) 编辑