摘要：
1.启动zookeeper 2.启动kafka -server 3.启动kafka的生产者（可换成其他生产者） 4.启动kafka的消费者（可换成其他消费者） 阅读全文
posted @ 2018-02-15 22:49 哈哈丶大傻瓜 阅读(1663) 评论(0) 推荐(0) 编辑
摘要：
1.下载spark，python包 略 2.环境变量配置 打开 ~/.bashrc配置文件 如图添加下列环境变量及path 3.退出配置文件，输入 source ~/.bashrc 来执行你添加的一些配置 4. vim test.py 5.python3 test.py 如图，编译成功 * 6. 但 阅读全文
posted @ 2018-02-05 15:00 哈哈丶大傻瓜 阅读(1310) 评论(0) 推荐(0) 编辑
摘要：
在UBUNTU中vim的配置文件存放在/etc/vim目录中，配置文件名为vimrc 在Fedora中vim的配置文件存放在/etc目录中，配置文件名为vimrc 在Red Hat Linux 中vim的配置文件存放在/etc目录中，配置文件名为vimrc set nocompatible "去掉有 阅读全文
posted @ 2018-02-03 14:56 哈哈丶大傻瓜 阅读(280) 评论(0) 推荐(0) 编辑
摘要：
1.读取csv文件 df = pd.read_csv('30lines.csv’) 2.删除第一列 df.drop(df.columns[[0]].axis=1,inplace=True) 3. columns替换 （1）特定列名替换 df.rename(columns={'date':'time' 阅读全文
posted @ 2018-02-03 13:37 哈哈丶大傻瓜 阅读(223) 评论(0) 推荐(0) 编辑
摘要：
spark快速入门 一个简单的例子： 代码： 可以进入SparkUI 地址：默认为 localhost:4040 阅读全文
posted @ 2018-02-01 15:25 哈哈丶大傻瓜 阅读(308) 评论(0) 推荐(0) 编辑
摘要：
kafka集群： mysql： redis: spark: zookeeper集群： 阅读全文
posted @ 2018-01-31 14:05 哈哈丶大傻瓜 阅读(159) 评论(0) 推荐(0) 编辑
摘要：
环境：win10 kafka版本：kafka_2.11-0.10.0.0 zookeeper版本：zookeeper-3.4.11 1. 开启zookeeeper server cmd下 : 1 .\bin\zookeeper-server-start.bat. \config\zookeeper. 阅读全文
posted @ 2018-01-31 13:23 哈哈丶大傻瓜 阅读(596) 评论(0) 推荐(0) 编辑
摘要：
配置kafka 服务器环境 Ubuntu 17.10 启动kafka服务器 nohup作为后台进程执行独立的shell session nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 & tail - 阅读全文
posted @ 2018-01-30 11:46 哈哈丶大傻瓜 阅读(163) 评论(0) 推荐(0) 编辑
摘要：
借鉴官网教程：http://kafka.apache.org/082/documentation.html#quickstart 安装kafka 1.安装 tips: tar在linux上是常用的打包、压缩、加压缩工具，他的参数很多，折里仅仅列举常用的压缩与解压缩参数 参数： -c ：create 阅读全文
posted @ 2018-01-29 17:20 哈哈丶大傻瓜 阅读(155) 评论(0) 推荐(0) 编辑