摘要： 项目需求，给定一个IP段,转为CIDR格式表示。 算法思想参照：http://blog.sina.com.cn/s/blog_b1e0018a0102wjdu.html ，加入我自己的理解稍作改动，实现IP段到CIDR的转换。 例如：给定 192.168.6.73 - 192.168.6.132 转 阅读全文

摘要： 1、通过扩展磁盘的方法增大磁盘大小 2、然后开启Linux 此时查看磁盘 df -h 并没有增加，使用 fdisk -l 查看发现已经扩展 使用 root 用户，进入到 ~ 家目录下面。 3、使用 fdisk /dev/sda 命令 按照圈里面的 参数走，没有参数的可以i直接回车 ，采用默认值。 4 阅读全文

摘要： 前面cloudera manager 环境准备和安装我参考的是： https://blog.csdn.net/m0_38017084/article/details/82218559 这篇博客，写的非常的详细。 我这主要写几个我安装完毕之后遇到的几个问题。 1、在进行mysql设置的时候报错 就是这 阅读全文

摘要： 博客地址：https://www.cnblogs.com/gnivor/p/5318319.html 阅读全文

摘要： 报错信息： WARN Fetching topic metadata with correlation id 14 for topics [Set(test)] from broker [BrokerEndPoint(2,ubuntu,9092)] failed (kafka.client.Clie 阅读全文

摘要： 用窗口函数可以解决这个问题： 例：select row_number() over(order by user_id desc) ,tab.* from dws_user_visit_month1 as tab limit 20; 结果： 其实要是单纯想加一个自增的行号，没有顺序要去的话 over( 阅读全文

摘要： 在执行spark on hive 的时候在 sql.show()处报错 ： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer 报错详情： 说明：程序是在idea上本地 阅读全文

摘要： 执行 drop database xxxx cascade; 删除数据库的时候报错。 报错信息：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java 阅读全文

摘要： hive -f 在执行sql脚本文件的时候是可以传递参数的，但是要注意hive版本： 注意：hive在0.9版本之前是不支持-f传递参数的，只有1.0之后才支持次功能。 使用如下： 1、创建sql脚本文件，内容如下 2、hive -f 传递参数 3、测试结果可以正常显示 阅读全文

摘要： 1、查看时间是否开启 SHOW VARIABLES LIKE 'event_scheduler' 若是查看结果为OFF，的话开启ON 2、设置事件开启 SET GLOBAL event_scheduler = 1; SET GLOBAL event_scheduler = ON; 也可以设置mysq 阅读全文

摘要： 在本地调试，提交到集群上运行。 在本地程序中的Configuration中添加如下配置： Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.136.128:9000"); System 阅读全文

摘要： 在使用SpringBoot的时候，在html页面用form表单post提交数据的时候报错： Request method 'POST' not supported 错误解析： 我是用的前端页面是HTML页面，而HTML文件，它并不支持响应头带有 post 的应答包，所以会报错。 而且在测试的时候进入 阅读全文

摘要： 用idea往github上push代码的时候，突然的不能用了。 报could not read Username for 'https://github.com': No error错误。 原因不明。 解决 1、进入项目目录 2、进入 .git 目录 3、修改.git/config 文件 把gith 阅读全文

摘要： 在hue上配置Mysql的时候，出现的错误： 发生服务器错误： Error loading MySQLdb module: libmysqlclient.so.18: cannot open shared object file: No such file or directory 问题原因： 这个 阅读全文

摘要： 问题： mapreduce中文乱码 原因： 再用Hadoop处理数据的时候，发现输出的时候，总是会出现乱码，这是因为Hadoop在设计编码的时候，是写死的。默认是UTF-8，所以当你处理的文件编码格式不是为UTF-8的时候，比如为GBK格式，那么就会输出的时候就会出现乱码。 问题解决： 解决问题非常 阅读全文