03 2022 档案
spark2.4.8重装报错
摘要：spark-shell报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger 解决办法 在spark-env.sh中加上export export SPARK_DIST_CLASSPATH=$(${
阅读全文
词云图报错
摘要：错误1.Uncaught TypeError: external_echarts_.helper.createTextStyle is not a functionat Object.seriesModel.layoutInstance.ondraw 解决办法：更改echart的引用 修改前 修改后
阅读全文
sqoop导出hive数据到mysql注意事项
摘要：1.hive表和mysql表的编码格式 如果通过sqoop出现中文乱码情况 请修改mysql的配置文件/etc/my.cnf vim /etc/my.cnf 添加如下两行 init_connect='SET collation_connection = utf8_unicode_ci' init_c
阅读全文
kettle 数据清洗（csv导入，去空，字符串替换，文本导出）
摘要：1. 2.先排序后去重 3。替换表数据的空值 4.去除评论列的空格回车等字符 5.文本文件输出 5.1 5.2最小宽度输出的文件非常紧凑
阅读全文
质量属性战术应对---可测试性
摘要：可测试性战术的目标是允许在完成软件开发的一个增量后，轻松地对软件进行测试。 测试的目标是发现错误。 输入输出 记录/回放（Record/playback ）：记录/回放是指将捕获跨接口的信息，并将其作为测试专用软件的输入。 代码 public static Connection getConn ()
阅读全文
centos7虚拟机磁盘根目录扩容
摘要：转载自https://cloud.tencent.com/developer/article/1839925 1.df -h 查看磁盘使用和剩余空间大小 经查看挂载在根目录的磁盘没有进行lvm管理 2.fdisk -l 查看磁盘信息 记住这个号 3.删除分区 /dev/sda3 4.新建/dev/s
阅读全文
