下士闻道

摘要： 在spark里面，内存管理有两块组成，一部分是JVM的堆内内存（on-heap memory），这部分内存是通过spark dirver参数executor-memory以及spark.executor.memory来进行指定； 另外一部分是堆外内存（off-heap memory），堆外内存默认是 阅读全文

摘要： pandas里面的对于数据操作比如where，drop以及dropna等都会有一个属性：inplace，这个单词意思是原地，如果inplace=true代表数据本身要返回（原地数据也会被改变）；如果inplace=false（默认）代表只是返回数据一个副本（copy，原数据并不会被改变）。 Data 阅读全文

摘要： Jupyter内核就是IPython（Interactive Python）；你看到的按tab键能够自动提示/补齐都是IPython实现的。 IPython其实不只限于IPython，其实你看到的IDE里面的tab键自动感应都是IPython的实现，比如Pycharm里面的Anaconda库就是包含 阅读全文

摘要： Builder模式有什么好处？ 构造函数构造一个函数的好处就是直接，但是缺点就是如果参数比较多，需要重载构造函数或者一个构造函数里面定义多个构造参数，对于调用方来讲十分不友好； 另外一种方式就是java bean模式，定义一个简洁的构造函数，然后通过set属性的方式来构造；这种方式避免了构造函数模式 阅读全文