摘要：
1.目的：借助github托管项目带按摩 2.仓库：创建一个Repository 3.收藏(Start)：仓库主页start按钮，意思是收藏项目的人数，在github上如果有一个项目获得100个star都算不容易了，收藏项目，方便下次查看 4.克隆和复制(Fork)： 5.发起请求(Pull Req 阅读全文
摘要：
1.Ron Jeffries的3C原则 (1)卡片(Card)(placeholder，占位符)：在一堆卡片上写下你期望的软件特性 (2)交谈(Conversation):聚在一起对要开发的软件进行深入的讨论 (3)确认(Confirmation):对完工件进行确认 阅读全文
摘要：
实践作业：172.19.241.251/problems 一、课程介绍 跨专业需了解：1)基础课：计算机组成原理；计算机系统基础；离散数学；操作系统；计算机网咯；数据结构算法 2)专业核心课：(1)编程语言(c,c++,python,java，c#) (2)软件工程思维之一软件项目管理：①产品管理② 阅读全文
摘要：
一、shuffle操作 1.spark中特定的操作会触发我们都知道的shuffle事件，shuffle是spark进行数据重新分布的机制，这通常涉及跨执行程序和机器来赋值数据，使得混洗称为复杂而且昂贵的操作。 2.为了理解shuffle过程中所发生的事情，我们先来关注reduceByKey操作的例子 阅读全文
摘要：
一、Linux系统简介 1.什么是linux Linux是一个免费的、多用户、多任务的操作系统，其运行方式、功能和UNIX系统很相似，但Linux系统的稳定性、安全性与网络功能是许多商业操作系统所无法比拟的。Linux系统最大的特色是源代码完全公开，在符合GNU/GPL（通用公共许可证）的原则下，任 阅读全文
摘要：
一、Pandas的数据结构 1.Series (1)类似于一维数组 (2)通过list构建Series ser_obj=pd.Series(range(10)) (3)pandas数据结构案例 阅读全文
摘要：
一、白话期权 本文来自知乎，对于一个NJU软工学生来说，先来补补脑：https://zhuanlan.zhihu.com/optionmarketmaking 随着2015年上证50ETF 期权的开放，豆粕和白糖期权的即将开市，最近几年期权在国内逐渐火了起来。虽然关注了一些国内相关的期权平台，公众账 阅读全文
摘要：
一、简单表述 通过大量重复产生大量随机数模拟可能的实现环境帮助我们解决不确定场景下 的决策问题的方法 二、圆周率pi的计算 代码： 三、蒙特卡洛模拟在期权定价或者风险管理问题上有很强的能力，容易处理高维问题 缺点：高计算要求，因此必须高效的实现该算法 实现策略：(1)从基础到向量化两种方法 (2)纯 阅读全文
摘要：
一、SPARK-CORE 1.spark核心模块是整个项目的基础。提供了分布式的任务分发，调度以及基本的IO功能，Spark使用基础的数据结构，叫做RDD(弹性分布式数据集),是一个逻辑的数据分区的集合，可以跨机器。RDD可以通过两种方式进行创建，一种是从外部的数据集引用数据，第二种方式是通过在现有 阅读全文
摘要：
一、弹性分布式数据集 1.弹性分布式数据集(RDD)是spark数据结构的基础。它是一个不可变的分布式对象的集合，RDD中的每个数据集都被划分为一个个逻辑分区，每个分区可以在集群上的不同节点上进行计算。RDDs可以包含任何类型的Python，Java或者Scala对象，包括用户自定义的类。 2.正常 阅读全文