摘要：
问题描述： 使用IDEA在windows端执行spark程序提交任务到集群，一直不结束，并报如下警告 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure 阅读全文
摘要：
因为配置了spark如下参数，启动spark-shell报错 export SPARK_WORKER_CORES=5 export SPARK_WORKER_INSTANCES=4 export SPARK_WORKER_MEMORY=50G export SPARK_WORKER_WEBUI_PO 阅读全文
摘要：
问题描述： 集群原始组成部分为：Master、Slave1、Slave2后来有添加一台Slave3，配置完相应的文件后，启动hadoop、spark发现只启动了Slave1、Slave3两个datanode，后来停止掉hadoop服务后，再次启动，这次只启动了Slave1、Slave2，jps查看S 阅读全文
摘要：
问题描述： 更改server.properties后启动kafka集群报错如下，提示brokerid 1不能匹配已经存储的元数据信息brokerid 2 FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdow 阅读全文
摘要：
问题描述： 使用spark streaming接受kafka数据（使用direct方式）报错 Couldn't find leader offsets for Set([test,0], [test,1], [test,3]) Exception in thread "main" org.apach 阅读全文
摘要：
出现“task not serializable"这个错误，一般是因为在map、filter等的参数使用了外部的变量，但是这个变量不能序列化。特别是当引用了某个类（经常是当前类）的成员函数或变量时，会导致这个类的所有成员（整个类）都需要支持序列化。解决这个问题最常用的方法有： · Make the 阅读全文
摘要：
spark同时提交多个任务,运行时候报错。 17/02/27 16:29:43 WARN AbstractLifeCycle: FAILED org.spark-project.jetty.server.Server@d0c51d7: java.net.BindException: Address 阅读全文
摘要：
问题描述： 在一台机器上设置多个worker 本例为8个，启动时部分可以启动 部分起不来 [hduser@BDHX02 logs]$ cat /app/spark-1.6.1/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-7-BDHX 阅读全文
摘要：
对付看把 到这里格式变化太大了，懒得调整了，这是大概spark1.5版本时候的一些参数默认值，现在2.x会有变化 这些皆可在 spark-default.conf配置，或者部分可在 sparkconf().set设置 应用程序属性 | | 属性名称 | 默认值 | 含义| | spark.app.n 阅读全文
摘要：
问题描述 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException): The directory item li 阅读全文