摘要：
动态规划是求解最优化问题的一种常用策略。 1、将复杂的原问题拆解成若干个简单的子问题 2、每个子问题仅仅解决一次，并保存他们的解 3、最后推导出原问题的解 应用场景： 最优解 有后效性和无后效性 使用步骤： 1、定义状态，状态是原问题所拆解成的子问题的解，例如dp（i），递归思想 2、设定初始状态， 阅读全文
摘要：
31、generateSerialVersionUID 32、UUID generator 33、DTO generator 34、 SequenceDiagram ，代码调用链路插件 文章：https://mp.weixin.qq.com/s/5rxIQk2nWVlvaK7Swf9Srw MP+M 阅读全文
摘要：
输出到MySQL： --input-null-string '\\N' --input-null-non-string '\\N' mysql连接参数： tinyInt1isBit:false useUnicode:true characterEncoding:utf8 mysql的jdbc字符串， 阅读全文
摘要：
当集群部署在阿里云或者腾讯云或者其他云上的时候，使用本地客户端访问会出现问题，解析的时候是内网地址，需要使用如下参数进行转换。 增加配置hdfs-site.xml 1 <configuration> 2 <property> 3 <name>dfs.client.use.datanode.hostn 阅读全文
摘要：
dolphin 1.6已经增加了企业微信的功能。 公司用的钉钉，那么增加功能到钉钉指定分组，可以针对分组将错误的任务或者被杀死的任务进行提示。 alert模块，增加配置： 1 enterprise.dingtalk.enable=true 2 enterprise.dingtalk.secret=钉 阅读全文
摘要：
1 import numpy as np 2 3 # 可以将python中list列表转换为Numpy数组 4 l = [1,2,3,4] 5 6 # Numpy数组 7 ndl = np.array(l) # 输入一部分，可以使用tab不全 8 print(ndl) 9 display(ndl) 阅读全文
摘要：
1、设置块大小 sc.hadoopConfiguration.setLong(fs.local.block.size,128x1024x1024) 2、读取csv 1 val schema = "name string, age int, job string" 2 val df3 = spark. 阅读全文
摘要：
连接方式 hive://hive:hive@ip:10000/default?auth=LDAP hive://hive@ip:10000/default hive://username:passwd@ip:port/db?auth=KERBEROS&kerberos_service_name=hi 阅读全文
摘要：
Error: Error while compiling statement: FAILED: SemanticException Line 1:23 Invalid path '"/root/testtt.dat"': No files matching path file:/root/testt 阅读全文
摘要：
dolphin scheduler 默认的swagger 端口：http://host:12345/dolphinscheduler/doc.html?language=zh_CH&lang=cn 阅读全文
摘要：
fatal: unable to access 'https://github.com/lidreamwind/mapreduce.git/': OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 10054 git config --global http.ssl 阅读全文
摘要：
<build> <plugins> <!-- 跳过测试代码--> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> <configuration> < 阅读全文
摘要：
for i in yarn application -list | grep -w ACCEPTED | awk '{print $1}' | grep application_; do yarn application -kill $i; done 阅读全文
摘要：
以表的操作和单条记录的增删改查为基础。 批量操作，需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie 阅读全文
摘要：
useradd hive | echo hive | passwd --stdin hive 阅读全文
摘要：
系统redhat7.5，如下图所示： 大数据集群，Ambari2.7.5+HDP3.1.5。 当配置启用Kerberos(当使用系统包自带的kerberos)的时候，服务会启动不了，如下图所示。 点开具体错误如下所示： 查看日志如下所示，此处是重点： 原因，这是因为Redhat7.5默认的KDC版本 阅读全文
摘要：
服务启动失败： systemctl start network 需要查看：systemctl status NetworkManager 若其运行，则需要终止。 systemctl stop NetworkManager systemctl disable NetworkManager 硬件地址参考 阅读全文
摘要：
版本：ambari2.7.5 HDP3.1.5 hive 3.1.0 spark 2.3.0 配置spark-sql命令行方式处理Hive数据。 参考：https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/integrating-hive/con 阅读全文
摘要：
llap开启 设置llap_heap_size大小，，不能大于设置的Memory Per Daemon值 错误 阅读全文
摘要：
排序文件： 3,25,25,35,96,29,19,38,4方法一： 1 package spark.rdd 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 cla 阅读全文