随笔分类 - Spark
记录平时工作中遇到的问题和知识点
Spark中什么时候使用Refresh table?
摘要：在Spark中执行refresh table语句时，它会刷新表的元数据信息，使得Spark能够重新加载表的最新数据。通常情况下，你可以在以下情况下执行refresh table语句：1.在表的数据发生变化后，你希望Spark能够立即感知到这些变化并使用最新的数据。2.在表的元数据信息发生变化后，比如
阅读全文
Spark中repartition和coalesce的区别和使用？
摘要：1.主要区别？ repartition和coalesce是Spark中用于重新分区数据的方法。它们的区别在于： 功能不同：repartition方法用于增加或减少分区数量，而coalesce方法仅用于减少分区数量。 数据移动：repartition方法会进行数据重分区，可能会导致数据的移动和重新分配
阅读全文
