bug_x - 博客园

spark 内存设置

摘要： val spark = SparkSession .builder.master("local").config("spark.testing.memory", "2147480000") .appName("HdfsTest") .getOrCreate() val spark = SparkSe 阅读全文

posted @ 2020-12-24 14:17 bug_x 阅读(499) 评论(0) 推荐(0) 编辑

windows spark3.1 hdfs 测试

摘要： class SparkTest { } import java.util.concurrent.TimeUnit import org.apache.spark.sql.SparkSession object SparkDemo { def main(args: Array[String]) { p 阅读全文

posted @ 2020-12-24 13:34 bug_x 阅读(113) 评论(0) 推荐(0) 编辑

@Autowired、@Resource、和@Service注解详解

摘要：注解之前spring怎么装配bean 传统的Spring做法是使用.xml文件来对bean进行注入或者是配置aop、事务。我们先看一个不使用注解的Spring示例，在这个示例的基础上，改成注解版本的，这样也能看出使用与不使用注解之间的区别，先定义一个老师： public class Teacher{ 阅读全文

posted @ 2020-12-23 15:28 bug_x 阅读(370) 评论(0) 推荐(0) 编辑

Python 打印对象

摘要：使用dir(obj) 这将输出所有属性和方法 from io import BytesIO f=BytesIO() print('object:',f) print('details:',dir(f)) 输出 object: <_io.BytesIO object at 0x104168e08> d 阅读全文

posted @ 2020-12-23 09:56 bug_x 阅读(798) 评论(0) 推荐(0) 编辑

Python + logging 输出到屏幕，将log日志写入文件

摘要： logging函数根据它们用来跟踪的事件的级别或严重程度来命名。标准级别及其适用性描述如下（以严重程度递增排序）：级别何时使用 DEBUG 详细信息，一般只在调试问题时使用。 INFO 证明事情按预期工作。 WARNING 某些没有预料到的事件的提示，或者在将来可能会出现的问题提示。例如：磁盘空间阅读全文

posted @ 2020-12-21 16:29 bug_x 阅读(783) 评论(0) 推荐(0) 编辑

hdfs://前缀

摘要： HDFS适合做：存储大文件。上G、T甚至P。一次写入，多次读取。并且每次作业都要读取大部分的数据。搭建在普通商业机群上就可以了。虽然会经常宕机，但HDFS有良好的容错机制。 HDFS不适合做：实时数据获取。如果有这个需求可以用HBase。很多小文件。因为namenode要存储HDFS的me 阅读全文

posted @ 2020-12-17 14:22 bug_x 阅读(2245) 评论(0) 推荐(0) 编辑

Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error

摘要： java 版本太高降低jdk版本阅读全文

posted @ 2020-12-16 20:08 bug_x 阅读(1171) 评论(0) 推荐(0) 编辑

How to set up logging level for Spark application in IntelliJ IDEA?

摘要： import org.apache.log4j.{Level, Logger} object MySparkApp { def main(args: Array[String]): Unit = { Logger.getLogger("org.apache.spark").setLevel(Leve 阅读全文

posted @ 2020-12-08 20:05 bug_x 阅读(109) 评论(0) 推荐(0) 编辑

spark 错误 How to set heap size in spark within the Eclipse environment?

摘要： 1、In Eclipse go to Run > Run Configurations... > Arguments > VM arguments and set max heapsize like -Xmx512m. 2、idea 同样 3、Intellij IDEA运行报Command line 阅读全文

posted @ 2020-11-27 10:02 bug_x 阅读(73) 评论(0) 推荐(0) 编辑

hadoop 常用命令

摘要：创建一个文件夹 hdfs dfs -mkdir /myTask 创建多个文件夹 hdfs dfs -mkdir -p /myTask1/input1 上传文件 hdfs dfs -put /opt/wordcount.txt /myTask/input 查看总目录下的文件和文件夹 hdfs dfs 阅读全文

posted @ 2020-11-17 20:36 bug_x 阅读(94) 评论(0) 推荐(0) 编辑

导航

2020年12月24日

2020年12月23日

2020年12月21日

2020年12月17日

2020年12月16日

2020年12月8日

2020年11月27日

2020年11月17日