linux中网络编程<1>
摘要：1 网络编程API (1)网络层的ip地址可以唯一标识网络中的主机，传输层通过协议+端口唯一标识主机中的应用程序。这样以来使用三元组(地址，协议，端口)标识网络的进程。 (2)socket >插槽(低俗的哈哈哈哈)，看作文件描述符，Linux基本哲学一切皆文件，那么是不是也可以读写关闭这样的习惯性操
阅读全文
posted @ 2018-04-26 21:25
04 2018 档案
c++中编译链接总结
摘要：1 编译链接过程分为 预处理 >编译 >汇编 >链接。如下图所示 2 预处理都做了什么 (1)将所有的#define删除并展开所有的宏 (2)处理所有的条件预编译指令比如#if #ifdef (3)处理#Incldue预编译指令，将包含的文件插入到预编译的文件中。采用头文件的目的是可以供多个不同的c
阅读全文
posted @ 2018-04-26 21:02
c++中stl----map
摘要：1 map的本质 (1)关联式容器，键值对应 (2)增加和删除节点对迭代器的影响很小。 (3)对于迭代器来说不可以修改键值，只能修改对应的实值。 (4)map内部数据的祖居是自建一颗红黑树(或者说是平衡二叉树)，具有自动排序的功能。 2 map的查增删 (1)map的插入 1 #include <m
阅读全文
posted @ 2018-04-25 15:42
linux网络编程中的超时设置
摘要：1 下面是在网上找到的资料，先非常的感谢。 用setsockopt()来控制recv()与send()的超时 在send(),recv()过程中有时由于网络状况等原因，收发不能预期进行,而设置收发超时控制： 在Linux下需要注意的是时间的控制结构是struct timeval而并不是某一整型数，i
阅读全文
posted @ 2018-04-24 15:11
c++中stl----vector
摘要：1 vector是啥玩意 (1)可以使用下标访问个别的元素 (2)迭代器可以按照不同的方式遍历 (3)可以在容器的末尾增加或者删除元素 2 容器大小和容器的容量区别 (1)大小是元素的个数，容量是分配的内存大小。vector::size()容器的大小 vecto：：capacity返回容器值。 (2
阅读全文
posted @ 2018-04-23 15:58
linux中的调试知识---基础gdb和strace查看系统调用信息，top性能分析，ps进程查看，内存分析工具
摘要：1 调试一般分为两种方法 可以通过在程序中插入打印语句。有点能够显示程序的动态过程，比较容易的检查出源程序中的有关信息。缺点就是效率比较低了，而且需要输入大量无关的数据。 2 借助相关的调试工具。 gdb 3 有哪些常用的调试工具呢？ 3.1 strace （1）我们知道在进行创建文件或者复制文件这
阅读全文
posted @ 2018-04-23 09:57
5 pyspark学习---Broadcast&Accumulator&sparkConf
摘要：1 对于并行处理，Apache Spark使用共享变量。当驱动程序将任务发送给集群上的执行者时，集群中的每个节点上都有一个共享变量的副本，这样就可以用于执行任务了。 2 两种支持得类型 (1)Broadcast 广播变量保存所有节点数据备份。该变量缓存在所有机器上，而不是在有任务的机器上发送。下面的
阅读全文
posted @ 2018-04-03 10:45
4 pyspark学习---RDD
摘要：开始新的东西，其实很多操作在第二篇的时候就有所介绍啦。在这里继续学习一遍加深一下印象。 1关于RDD (1) RDD Resilient Distributed Dataset，弹性分布式数据集。这些元素在多个节点上运行和操作，以便在集群上进行并行处理。 (2)RDD是弹性得。 比如map操作，可以
阅读全文
posted @ 2018-04-03 10:10
3 pyspark学习---sparkContext概述
摘要：1 Tutorial Spark本身是由scala语言编写，为了支持py对spark的支持呢就出现了pyspark。它依然可以通过导入Py4j进行RDDS等操作。 2 sparkContext (1)sparkContext是spark运用的入口点，当我们运行spark的时候，驱动启动同时上下文也开
阅读全文
posted @ 2018-04-03 09:48
2 pyspark学习----基本操作
摘要：1 spark的python环境部署可以参照上面一篇哟。http://www.cnblogs.com/lanjianhappy/p/8705974.html 2 pyspark的基本操作。 加油！
阅读全文
posted @ 2018-04-03 09:12
1 python----pycharm本地部署spark
摘要：下图相关工具连接 链接：https://pan.baidu.com/s/115XWf_Fc1yMiJytKJQXnFQ 密码：3jvr 好了，加油哟！
阅读全文
posted @ 2018-04-03 09:08
