2016年9月14日

java向excel写数据

摘要: package pymongo1; import java.io.File;import java.io.IOException;import java.io.OutputStream; import jxl.Workbook;import jxl.write.Label;import jxl.wr 阅读全文

posted @ 2016-09-14 16:00 猫儿爹 阅读(1839) 评论(0) 推荐(0) 编辑

java操作mongodb

摘要: package pymongo1; import com.mongodb.BasicDBObject;import com.mongodb.DB;import com.mongodb.DBCollection;import com.mongodb.DBCursor;import com.mongod 阅读全文

posted @ 2016-09-14 15:58 猫儿爹 阅读(133) 评论(0) 推荐(0) 编辑

python+rabbitmq实现分布式

摘要: #master 阅读全文

posted @ 2016-09-14 15:56 猫儿爹 阅读(1238) 评论(0) 推荐(0) 编辑

python操作mongodb

摘要: import pymongoimport csvimport osimport datetimeclass device1(): def conn(self): global connetion connetion=pymongo.MongoClient('10.10.5.199',27017) d 阅读全文

posted @ 2016-09-14 15:52 猫儿爹 阅读(254) 评论(0) 推荐(0) 编辑

python实现进程的并发

摘要: __author__ = 'luozt' import telnetlib import multiprocessing import random def telnet(ip,hostname): tn = telnetlib.Telnet(ip) print("begin telnet "+str(hostname)+"...") tn.read_until("Us... 阅读全文

posted @ 2016-09-14 15:51 猫儿爹 阅读(420) 评论(0) 推荐(0) 编辑

使用python实现两个文件夹里文件的对比(包含内容的对比)

摘要: #-*-coding:utf-8-*- # # 目录对比工具(包含子目录 ),并列出# 1、A比B多了哪些文件 # 2、B比A多了哪些文件 # 3、二者相同的文件:文件大小相同 VS 文件大小不同 (Size相同文件不打印:与Size不同文件显示未排序)# import os, time,diffl 阅读全文

posted @ 2016-09-14 15:50 猫儿爹 阅读(20766) 评论(0) 推荐(2) 编辑

mapreduce-实现多表关联

摘要: //map package hadoop3; import java.io.IOException; import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop. 阅读全文

posted @ 2016-09-14 15:45 猫儿爹 阅读(2795) 评论(0) 推荐(0) 编辑

mapreduce-实现单表关联

摘要: //map类 package hadoop3; import java.io.IOException; import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop 阅读全文

posted @ 2016-09-14 15:42 猫儿爹 阅读(788) 评论(0) 推荐(0) 编辑

kali_linux学习笔记

摘要: kali linux ssh登陆: 一、配置SSH参数 修改sshd_config文件,命令为: vi /etc/ssh/sshd_config 将#PasswordAuthentication no的注释去掉,并且将NO修改为YES //kali中默认是yes 将PermitRootLogin w 阅读全文

posted @ 2016-09-14 15:36 猫儿爹 阅读(1065) 评论(0) 推荐(0) 编辑

docker学习笔记

摘要: yum install libdevmapper* -y 217 yum install http://ftp.riken.jp/Linux/fedora/epel/6/i386/epel-release-6-8.noarch.rpm centos7.0##yum install libdevmap 阅读全文

posted @ 2016-09-14 15:34 猫儿爹 阅读(129) 评论(0) 推荐(0) 编辑

spark-shell学习笔记

摘要: 1. val lines=sc.textFile("hdfs://") ==加载进来成为RDD Resilient distributed dataset 弹性数据集 val errors=lines.filter(_.startsWith("ERROR")) ##transformation va 阅读全文

posted @ 2016-09-14 15:29 猫儿爹 阅读(677) 评论(0) 推荐(0) 编辑

scala 学习笔记

摘要: val x:T val x:T=e 声明一个常量var x:T var x:T=e 声明一个变量 def abc(x:T):T=edef adder(m:T,n:T)=m+n 数值类型:整型值:Int Long Short Byte浮点型:Double,Float布尔值:Boolean(true/f 阅读全文

posted @ 2016-09-14 15:29 猫儿爹 阅读(230) 评论(0) 推荐(0) 编辑

hadoop-pig学习笔记

摘要: A1 = LOAD '/luo/lzttxt01.txt' AS (col1:chararray,col2:int,col3:int,col4:int,col5:double,col6:double);B1 = GROUP A1 BY (col2,col3,col4);C1 = FOREACH B1 阅读全文

posted @ 2016-09-14 15:27 猫儿爹 阅读(212) 评论(0) 推荐(0) 编辑

hadoop-hive学习笔记

摘要: create table hive_1(id string,name string ,gender string)row format delimited fields terminated by ','stored as TEXTFILE; load data local inpath '/luo 阅读全文

posted @ 2016-09-14 15:27 猫儿爹 阅读(239) 评论(0) 推荐(0) 编辑

hadoop-hbase学习笔记

摘要: create "t",{NAME=>"t_id"},{NAME=>"t_vl"} describe "t" disable "t" alter "t",{NAME=>"t_info",VERSIONS=>3} put "t","1001","t_vl:age","25" //1001是rowkey 阅读全文

posted @ 2016-09-14 15:26 猫儿爹 阅读(221) 评论(0) 推荐(0) 编辑

hadoop-sqoop学习笔记

摘要: 导入 sqoop import --connect jdbc:mysql://20.12.20.165:3306/luo0907 --username root --password 12345 --table aa01 --fields-terminated-by '\t' -m 1 --hive 阅读全文

posted @ 2016-09-14 15:25 猫儿爹 阅读(161) 评论(0) 推荐(0) 编辑

eclipse Git & maven 安装

摘要: 系统变量:MAVEN_HOME = D:\Server\maven 用户变量:path = %MAVEN_HOME%\bin 配置完成后,打开cmd,在里面敲 mvn -version 即为安装成功。 3.将eclipse的安装包解压后放在具体位置。然后在eclipse的根目录创建一个workspa 阅读全文

posted @ 2016-09-14 15:21 猫儿爹 阅读(310) 评论(0) 推荐(0) 编辑

使用mongoperf评估磁盘随机IO性能

摘要: 用法举例: # 先创建10GB的测试文件 9GB... testing... ... # IO跑满后,得出ops和吞吐量 new thread, total running : 16 read:1 write:1 7670 ops/sec 29 MB/sec # 可以使用iostat观察磁盘io状态 阅读全文

posted @ 2016-09-14 15:19 猫儿爹 阅读(302) 评论(0) 推荐(0) 编辑

限制mongodb内存占用过高方法

摘要: 1.mongodb必须是以服务的方式启动的。即能用service mongodb start的方式启动 资源限制用这个命令systemctl set-property <servicename> <field>=<value> CentOS7 内存的设置方法为: systemctl set-prop 阅读全文

posted @ 2016-09-14 15:19 猫儿爹 阅读(34245) 评论(1) 推荐(2) 编辑

rabbitmq集群安装

摘要: 以rabbitmq集群有两个node为例,关闭两台机器的防火墙 1.如果你此时还未安装rabbitmq 那么可以在装第一个RM时只勾选rabbitmq,然后在安装时在弹出的cookie值填写为“aaaaa”(这个值可以随便填) 然后在另外一个pc安装rabbitmq时的cookie值也填写为“aaa 阅读全文

posted @ 2016-09-14 15:18 猫儿爹 阅读(389) 评论(0) 推荐(0) 编辑

导航