摘要:
hive中表的结构: 在hive目录下已经创建了auxlib子目录并放入下载的jar包以支持json: 代码,尝试用spark操作由json数据构成的hive表数据: uup.spark.sql('use profile') user_action = uup.spark.sql("select a 阅读全文
摘要:
使用pyspark的sparkSession.sql操作hive表数据时遇到问题: jupyter代码: spark = SparkSession.builder.appName('hivetest').enableHiveSupport().config(conf=conf).getOrCreat 阅读全文
摘要:
在训练模型时spark报错:too many open files Py4JJavaError: An error occurred while calling o315.showString. : org.apache.spark.SparkException: Job aborted due t 阅读全文
摘要:
在设置检查点的时候一开始的写法是这样的: spark.sparkContext.setCheckpointDir('/checkPoint') 提示路径明显为本地路径,请改为hdfs路径,于是显式的写成: spark.sparkContext.setCheckpointDir('hdfs://192 阅读全文
摘要:
代码功能:使用sparkStreaming的updateByKey()方法统计一段时间里面接收到的文本中每个单词出现的次数。 checkpoint地址默认放在hdfs的用户目录下。 在虚拟机中使用dc -lk 9999 -v在9999端口上放入文本,StreamingContext的socketTe 阅读全文
摘要:
spark的默认url路径问题: spark默认从hdfs的当前用户目录下读取数据,即./目录,可以用/来改为hdfs的根目录,不用显式的写成 'hdfs:///192.168.16.128:9000/xx.csv' 的形式,但前提是在spark-env.sh中配置了hadoop配置文件夹的位置: 阅读全文
摘要:
问题描述:启动tomcat后,控制台输出的中文全部显示为乱码,共有三个地方:server、Tomcat Localhost Log、Tomcat Catalina Log 错误原因:如果电脑的语言、时区设置为中文(GBK编码),会和tomcat默认编码(UTF-8)冲突。 解决方式:找到tomcat 阅读全文
摘要:
错误描述:由maven管理的spring框架的web项目,想要使用spring提供的工具类自动创建应用上下文对象ApplicationContext并存储到SerlvetContext域中,为此在pom.xml中引入spring-web依赖,并在web.xml配置ContextLoaderListe 阅读全文
摘要:
1. 配置tomcat。 2.在项目结构的libraries中添加使用的tomcat下bin目录中的servlet-api.jar包。 阅读全文
摘要:
描述:在使用BeanUtils.pupulate()方法将map集合快速封装成javaBean对象时,导入了commons-beanutils-1.9.3.jar和commons-logging-1.2.jar。其中beanUtils依赖于logging包。 错误:java.lang.NoClass 阅读全文