05 2019 档案
摘要:1,查看kafka topic列表,使用--list参数 2,查看kafka特定topic的详情,使用--topic与--describe参数 列出了lx_test_topic的parition数量、replica因子以及每个partition的leader、replica信息 3、Kafka 删除
阅读全文
摘要:正常情况下,你安装好ubuntu16.04版本之后,系统会自带 python2.7版本,如果需要下载新版本的python3.5,就需要进行更新。下面给出具体教程: 1.首先在ubuntu的终端ternimal输入命令: sudo apt-get install python3.5 2.指定默认打开的
阅读全文
摘要:为了实现远程kafka通信,我可谓是呕心沥血。期间各种bug各种调,太煎熬了 (T.T) 介绍: 我用一台虚拟机作为远程消息的发送方,用本地电脑主机作为消息的接收方 虚拟机:安装java,kafka,zookeeper 主机:eclipse,注意我没有说在主机上也要安装kafka的 1、虚拟机部署
阅读全文
摘要:Storm主要的应用场景就是流式数据处理,例如实时推荐系统,实时监控系统等。 storm中的相关概念 在storm中,分布式的计算结构指的是一个topology(拓扑),一个topology由流式数据,spouts(流生产者),以及bolts(具体操作者)组成。Storm的topologies和其他
阅读全文
摘要:环境: 1、kafka+zookeeper 2、window平台 3、eclipse 设置: 1、kafka和zookeeper安装,另一篇有介绍(https://www.cnblogs.com/51python/p/10870258.html) 2、eclipse代码(建立maven工程) pom
阅读全文
摘要:基本命令格式 上传 scp -r myfilder tiantian@192.168.168.221:/home/tiantian/temp/ 复制本地文件到远程/home/tiantian/temp/的文件目录下 需要输入远程密码 下载 scp -r tiantian@192.168.168.22
阅读全文
摘要:前面介绍了docker的基本信息,这里简单介绍下,如何使用docker 1、安装 1)添加需要的docker资源。 2)提示要确认,我们enter回车等待完成。 3)接着需要更新系统资源。 4)现在我们就可以开始安装docker以及相关需要的包了。 apt-get install docker.io
阅读全文
摘要:mapreduce 全局变量共享 在编写MapReduce程序时,经常会遇到这样的问题,全局变量如何保存?如何让每个处理都能获取保存的这些全局变量?使用全局变量是不可避免的,但是 在MapRdeuce中直接使用代码级别的全局变量是不现实的。主要是因为继承Mapper基类的Map阶段类的运行和继承Re
阅读全文
摘要:一、mapreduce多job串联 1、需求 一个稍复杂点的处理逻辑往往需要多个 mapreduce 程序串联处理,多 job 的串联可以借助 mapreduce 框架的 JobControl 实现 2、实例 以下有两个 MapReduce 任务,分别是 Flow 的 SumMR 和 SortMR,
阅读全文
摘要:m apreduce三大组件:Combiner\Sort\Partitioner 默认组件:排序,分区(不设置,系统有默认值) 一、mapreduce中的Combiner 1、什么是combiner Combiner 是 MapReduce 程序中 Mapper 和 Reducer 之外的一种组件,
阅读全文
摘要:MapReduce 程序的业务编码分为两个大部分,一部分配置程序的运行信息,一部分 编写该 MapReduce 程序的业务逻辑,并且业务逻辑的 map 阶段和 reduce 阶段的代码分别继 承 Mapper 类和 Reducer 类 1、mapreduce单词统计实例 reduce 二、mapre
阅读全文
摘要:1、实时处理框架 即从上面的架构中我们可以看出,其由下面的几部分构成: Flume集群 Kafka集群 Storm集群 从构建实时处理系统的角度出发,我们需要做的是,如何让数据在各个不同的集群系统之间打通(从上面的图示中也能很好地说明这一点),即需要做各个系统之前的整合,包括Flume与Kafka的
阅读全文
摘要:数据分析一般分为两种,一种是在线一种是离线 流程: 一般都是对于日志文件的采集和分析 场景实例(某个电商网站产生的用户访问日志(access.log)进行离线处理与分析的过程) 1、需求: 基于MapReduce的处理方式,最后会统计出某一天不同省份访问该网站的uv与pv(pv就是点击量,uv是独立
阅读全文
摘要:可一直不明白docker是什么,然后看了这篇文章(尾部链接),瞬间清醒了许多 1、简单介绍: 简单的说 docker类似于虚拟机,但是它更小,更轻便,更能适应单个应用(为其量身定做),一个机器上可以运行多个虚拟机,每个虚拟机都可以有不同的环境,都可以运行不同的应用,一个机器上可以运行多个docker
阅读全文
摘要:安装搭建: 1)解压下载的flume(安装jdk1.6及其以上) 2)在conf文件夹里面建立example.conf文件 3)启动flume 4)新建窗口运行 5)在该窗口输入,另一个窗口会输出记录 flume对接不同的数据源 1、Avro Source 监听AVRO端口来接受来自外部AVRO客户
阅读全文
摘要:一、python操作 二、命令行 参考: https://www.cnblogs.com/aademeng/articles/9779271.html https://baijiahao.baidu.com/s?id=1612042780837847633&wfr=spider&for=pc
阅读全文
摘要:报错: 原因:由于直接关闭客户端,进程没关导致下次开启时,后台还是运行的所以无法重新开启 解决办法: 1、查看进程 2、然后杀死他!!!! 一般杀死第一个就可以了。 参考:https://blog.csdn.net/wangyue12138/article/details/82661624
阅读全文
摘要:整理的有点多,做好心理准备。。。。。。 1、资源优化理解: 不同设备,io不同。每种设备都有两个指标:延时(响应时间):表示硬件的突发处理能力;带宽(吞吐量):代表硬件持续处理能力。 每种硬件主要的工作内容: CPU及内存:缓存数据访问、比较、排序、事务检测、SQL解析、函数或逻辑运算; 网络:结果
阅读全文
摘要:一开始,我以为,打包本来就很容易,可是没有。。。。。 没想到打包还能遇到坑 T.T 打包步骤: 1、安装 pyinstaller (cmd) 2、进入目标文件所在文件夹,右键在此打开cmd 出现的dist有一个exe程序,这个就是你要的。 出错了!!! 错误一: 我在打包时出现 也是没谁了 解决方法
阅读全文
摘要:该方法没试过,先记下再说 1、软件版本说明: Goldengate 12c 12.2.0.1 for Oracle(源端) Goldengate 12c 12.3.0.1 for Bigdata (目标端) Hadoop 2.6.4(安装参考我的博客 https://blog.csdn.net/Re
阅读全文
摘要:引入依赖 生产者 消费者 如果连接kafka超时: 修改kafka的config/server.properties文件中的如下内容: advertised.listeners=PLAINTEXT://IP地址:9092 使用ifconfig或者ip a指令获取安装机器的ip地址,加入获取到的测试机
阅读全文
摘要:安装实战 kafka安装包下载(注意:这里选择的安装包是2.11系列的1.1.0版本的) wget https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz 安装启动服务 首先,我们需要下载并且安装zk和kafka,并且将这两个
阅读全文
摘要:1、zookeeper安装: (https://zookeeper.apache.org/releases.html) ①进入zookeeper的相关设置所在的文件目录,例如本文的:D:\bigdata\zookeeper-3.4.10\conf ②将"zoo_sample.cfg"重命名为"zoo
阅读全文
摘要:oracle删除 删除表内容 truncate table new_userinfo; 删除表 drop table new_userinfo; 1.首先,python链接oracle数据库需要配置好环境。 我的相关环境如下: 1)python:Python 3.6.3 (v3.6.3:2c5fed
阅读全文
摘要:参考:https://www.cnblogs.com/lansan0701/p/8039332.html
阅读全文
摘要:原来用windows本地运行,在本地模拟客户端和服务端,鼓捣了一天都没运行成功。。。最后放弃了,改用 windows的客户端+ubuntu的服务端(客户端程序运行在window,canal监听运行在Ubuntu中) 用到:windows+ubuntu+eclipse+mysql+canal 1、客户
阅读全文
摘要:由于文件 oci.dll 路径没添加 1、点击edit 2、点击PL/SQL 3、弹框中 填写oci.dll文件的完整路径!完整路径!完整路径!完整路径!完整路径!完整路径!完整路径!完整路径! 重要的事情说n遍 4、重启plsql 参考:https://blog.csdn.net/u0140498
阅读全文
摘要:报错1045: 远程没有设置用户远程访问的权限 解决方案: 进行授权(红色是你的密码) 如果想root用户使用password从任何主机连接到mysql服务器的话。 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123123' WI
阅读全文
摘要:启动mysql: 方式一:sudo /etc/init.d/mysql start 方式二:sudo service mysql start 停止mysql: 方式一:sudo /etc/init.d/mysql stop 方式二:sudo service mysql stop 重启mysql: 方
阅读全文
摘要:原先又是下载包,又是解压,又是创建文件夹,然并卵,费了一下午 后来找到这个,挺简单,只需要几条命令就可以完成。 1. sudo apt-get install mysql-server 2. apt-get install mysql-client 3. sudo apt-get install l
阅读全文
摘要:本来要下一个 tar.gz 文件的,但是下了一个 xz的,以为不能用了,但是万能的百度。。 解决方法: 首先打包成tar文件 j接着用 进行解压。
阅读全文
摘要:常用的有(基本的就不写了): 1、在tmp目录下创建路径为test/t1/t的目录,若不存在,则创建 mkdir -p /tmp/test/t1/t 2、删除test子目录及子目录中所有档案删除,并且不用一一确认 rm -rf test 3、将文件log1.txt,log2.txt,log3.txt
阅读全文
摘要:刚装的linux无法使用root需要初始化密码 1、设置密码 点击回车,然后输入两次你想设置的密码,比如123456 2、切换用户 再输入你刚才设置的密码即可。
阅读全文
摘要:1、确保虚拟机已经安装了ssh(一般刚装的都没) 运行上面的命令安装 2、获取虚拟机ip 注:不是ipconfig!!!这是windows的 3、打开xshell 新建连接,把ip,用户名和密码设置好后就可以连接了。 弹出提示,接受并保存即可。
阅读全文
摘要:报错信息:com.alibaba.druid.pool.DruidDataSource - testWhileIdle is true, validationQuery not set 解决方法: 找到conf/canal.properties 文件里面的 canal.instance.tsdb.s
阅读全文
摘要:先上解决方法 :) 一. 创建用户 命令: 说明: username:你将创建的用户名 host:指定该用户在哪个主机上可以登陆,如果是本地用户可用localhost,如果想让该用户可以从任意远程主机登陆,可以使用通配符% password:该用户的登陆密码,密码可以为空,如果为空则该用户可以不需要
阅读全文
摘要:1、依赖有问题 找到build path 点击configure build path 点击libraries 找到有红叉的包,然后选中移除 2、引用的包有问题 利用maven引用的包出现问题,有的包不完整,需要删除重新引入。 通过下方的problems,有错误产生。根据路径找到依赖包,删除重新导入
阅读全文
摘要:用java操作hbase 利用maven引入hbase包后发现无法启动程序,然后网上说是包的冲突。 我引入了下面三个包然后程序就不能运行了。 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-it</artifact
阅读全文
摘要:我用的是Hadoop-common 2.6.4jar,可是明明包里面有这个类却引用不了,然后我看了下包里面是一个抽象类。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 所以就换了一个2.7.0然后就可以引用了。
阅读全文
摘要:1、Oracle8/8i/9i数据库(thin模式) Class.forName("oracle.jdbc.driver.OracleDriver").newInstance(); String url="jdbc:oracle:thin:@localhost:1521:orcl"; //orcl为
阅读全文
摘要:1055错误: 方案1: 修改sql_mode的值 set sql_mode = '';set sql_mode = 'NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES'; 再次执行刚才的语句,就不会报错了。 方案2: 在my.cnf添加如下: 如果没有my.cn
阅读全文
摘要:报错: Exception in thread "main" java.lang.ClassCastException: com.sun.proxy.$Proxy5 cannot be cast to aopAnnotation.UserDaoImp at aopAnnotation.testmai
阅读全文