Loading [MathJax]/jax/element/mml/optable/BasicLatin.js

09 2019 档案

JSON和fastjson
摘要:一、JSON 语法规则: 数据在名称/值对中 数据由逗号分隔 花括号保存对象 方括号保存数组 名称/值对-->对象-->数组 JSON 名称/值对 JSON 数据的书写格式是:名称/值对。 名称/值对包括字段名称(在双引号中),后面写一个冒号,然后是值: "firstName" : "John" J 阅读全文

posted @ 2019-09-28 15:43 AI数据 阅读(924) 评论(0) 推荐(0) 编辑

统计(一)数据与量化
摘要:一、数据是信息点 行和列的交叉形成点,行是个体,列是属性 1.从左到右的每一行记录一个个体的若干属性 2.从上往下的每一列记录一个属性(变项)的实况 3.列与行的交汇点是信息点,记录某个体的某属性 4.数据库是关于某些个体某些属性的信息库(矿) 二、量化研究只测量某些个体的属性 1.此统计非彼统计 阅读全文

posted @ 2019-09-26 18:01 AI数据 阅读(1726) 评论(0) 推荐(0) 编辑

数据挖掘和机器学习概述
摘要:一、数据挖掘任务 数据挖掘常见的六大任务: 1.分类问题 2.聚类问题 3.回归问题 4.关联问题 5.序列问题 6.异常检测 二、数据挖掘流程 CRISP-DM:跨行业数据挖掘标准流程 各环节的任务与目标 预测模型的构建和评分流程 六大任务中的分类和回归都属于预测模型的范畴 三、预测模型的构建和使 阅读全文

posted @ 2019-09-26 14:41 AI数据 阅读(2292) 评论(1) 推荐(1) 编辑

RPC服务治理框架(一)RPC技术
摘要:一、RPC是什么 remote procedure call:远程过程调用 过程就是程序,像调用本地方法一样调用远程的过程 RPC采用Client-Server结构,通过request-response消息模式实现 RMI(remote method invocation)远程方法调用时oop领域中 阅读全文

posted @ 2019-09-26 09:56 AI数据 阅读(1206) 评论(0) 推荐(0) 编辑

数据结构(十二)排序
摘要:一、快速排序 已经学过的排序 分而治之 轴点 pivot: 快速排序 坏消息:在原始序列中,轴点未必存在... 必要条件:轴点必定已然就位 // 尽管反之不然 derangement: 2 3 4... n 1 特别地:在有序序列中,所有元素皆为轴点;反之依然 快速排序就是将所有元素逐个转换为轴点的 阅读全文

posted @ 2019-09-25 19:00 AI数据 阅读(267) 评论(0) 推荐(0) 编辑

数据结构(十一)串
摘要:一、ADT 定义 术语 ADT b1串匹配 算法评测 b2 蛮力匹配 版本一 版本2 复杂度 c1KMP算法:从记忆力到预知力 蛮力,为何低效 很多比对不必进行 不变性 只要记忆力足够强 记忆力转为预知力 c2KMP算法:查询表 事先确定t 算法 实例 模式串,下面是对应的查询表,倒数第三个字符秩为 阅读全文

posted @ 2019-09-25 14:39 AI数据 阅读(398) 评论(0) 推荐(0) 编辑

数据结构(十)优先级队列
摘要:一、需求与动机 元素接受访问的次序按照优先级,而非FIFO 场景 夜间门诊 病情危急的优先治疗 多任务调度 每个任务都有一个指标,指标都是动态变化的,操作系统总是挑选指标最大的任务交由CPU处理 应用、算法与特点 问题模式: 接口规范 纯虚函数 a2基本实现 基于向量 有序向量 基于列表 有序列表 阅读全文

posted @ 2019-09-25 09:46 AI数据 阅读(595) 评论(0) 推荐(0) 编辑

数据结构(九)词典
摘要:散列:原理 桶bucket:直接存放或间接指向一个词条(即词条的引用) 桶数组bucket array/散列表hash table,容量为M,即散列表长度 N < M << R 空间 = O(N+M)=O(N) 定址/杂凑/散列: 根据词条的key(未必可比较) 直接确定散列表入口 散列函数:has 阅读全文

posted @ 2019-09-24 20:21 AI数据 阅读(289) 评论(0) 推荐(0) 编辑

数据结构(八)高级搜索树
摘要:AVL树是典型的适度平衡的二叉搜索树,为每个节点定义引入平衡因子的指标,平衡银子绝对值小于等于1,虽然和理想平衡相比,已经放松了限制,但条件仍显苛刻,还要在动态调整中保持这种特性。 一、伸展树 局部性 Locality:刚被访问的数据,极有可能很快地再次被访问,这一现象在信息处理过程中屡见不鲜。 B 阅读全文

posted @ 2019-09-24 16:54 AI数据 阅读(888) 评论(0) 推荐(0) 编辑

数据结构(七)二叉搜索树
摘要:一、概述 BST继承了二叉树也就是列表结构的特点,也借鉴了有序向量的特点和优势。 BBST平衡二叉搜索树这个子集尤其重要 1.循关键码访问 数据项之间,依照各自的关键码彼此区分,call-by-key 条件:关键码之间支持大小比较与相等比对 数据集合中的数据项统一地表示和实现为词条entry形式 词 阅读全文

posted @ 2019-09-23 23:24 AI数据 阅读(393) 评论(0) 推荐(0) 编辑

C++模板
摘要:一、函数模板 我们可能会遇到功能相同,但参数不同,而不得不写大量重载函数,如求绝对值,根据参数是整数还是浮点数而重载函数。 这不仅会导致冗余,如果修改算法时,没有各个函数体中同步修改,会造成在同一个系统中,处理同类型的问题,用的算法不一致。 解决:使用模板 求绝对值问题 语法: 模板参数表的内容 类 阅读全文

posted @ 2019-09-23 15:48 AI数据 阅读(261) 评论(0) 推荐(0) 编辑

Hive速览
摘要:一、概述 Hive由Facebook开源,是一个构建在Hadoop之上的数据仓库工具 将结构化的数据映射成表 支持类SQL查询,Hive中称为HQL 1.读模式 2.Hive架构 3.使用Hive的原因 Hadoop数据分析的问题: MapReduce实现复杂查询逻辑开发难度大,周期长 开发速度无法 阅读全文

posted @ 2019-09-23 11:53 AI数据 阅读(570) 评论(0) 推荐(0) 编辑

Hbase速览
摘要:一、概述 理解为hadoop中的key-value存储,数据按列存储,基于HDFS和Zookeeper 1.应用 2.场景 适用场景: 存储格式:半结构化数据,结构化数据存储,Key-Value存储 数据版本:固定集合(多版本),定时删除(TTL) 更新:列族结构经常调整 写Pattern:高并发写 阅读全文

posted @ 2019-09-23 10:08 AI数据 阅读(580) 评论(0) 推荐(0) 编辑

NLP常用Python开发工具
摘要:一、Numpy NumPy系统是Python的一种开源的数值计算包。 包括: 1、一个强大的N维数组对象Array; 2、比较成熟的(广播)函数 库; 3、用于整合C/C++和Fortran代码的工具包; 4、实用的线性代数、傅里叶变换和随机数生成函数。 numpy和稀疏矩阵运算包scipy配合使用 阅读全文

posted @ 2019-09-22 23:06 AI数据 阅读(856) 评论(0) 推荐(0) 编辑

Hadoop(三)YARN
摘要:Yet Another Resources Negotiator 从Hadoop2.0版本开始引入YARN,主要功能: 集群资源管理系统 负责集群的统一管理和调度 与客户端交互,处理客户端请求 一、基本架构 Master/Slave架构 资源管理和节点管理器组成 集群的机器启动nodemanager 阅读全文

posted @ 2019-09-22 18:17 AI数据 阅读(398) 评论(0) 推荐(0) 编辑

Hadoop(二)HDFS
摘要:海量数据处理 分而治之 核心思想: 把数据分发到多个节点 移动计算到数据附近 计算节点进行本地数据处理 优选顺序,次之随机读 一、HDFS概述 修改,先删除,再重新生成 1.架构 namenode维护着HDFS中存储的文件的元数据,以及每个文件块的列表,以及块所在datanode的信息。nameno 阅读全文

posted @ 2019-09-22 16:23 AI数据 阅读(363) 评论(0) 推荐(0) 编辑

Flume速览
摘要:Flume是一个分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统。Java实现,插件丰富,模块分明。 数据流模型:Source-Channel-Sink 事务机制保证了消息传递的可靠性 一、基本组件 Event:消息的基本单位,有header和body组成。header是键值对的形式,bod 阅读全文

posted @ 2019-09-21 19:31 AI数据 阅读(522) 评论(0) 推荐(0) 编辑

Kafka速览
摘要:一、基本结构 三台机器组成的Kafka集群,每台机器启动一个Kafka进程,即Broker 向broker发送消息的客户端是Producer,拉取消息的客户端是Consumer Producer和Consumer都是用户实现的 broker只负责数据存储,不保存任何Producer和Consumer 阅读全文

posted @ 2019-09-21 14:56 AI数据 阅读(332) 评论(0) 推荐(0) 编辑

分布式消息中间件(二)ActiveMQ
摘要:一、概述 Apache出品,最流行的,能力强劲的开源消息总线。 1.JMS规范 Java消息服务(Java Message Service,即JMS)应用程序接口是一个Java平台中关于面向消息中间件(MOM)的API,用于应用程序之间,或分布式系统中发送消息,进行异步通信。Java消息服务是一个与 阅读全文

posted @ 2019-09-21 12:44 AI数据 阅读(690) 评论(0) 推荐(0) 编辑

分布式消息中间件(一)设计
摘要:中间件 1.概述 应用场景 单体架构 如果一个模块升级,比如订单系统,整个系统都要升级 耦合度高,开发困难 分布式架构 后台由多个系统组成 多系统协同处理一个请求可以看成分布式系统 系统之间相互调用,用RPC远程调用的方式实现 但这样系统之间耦合度相对较高 为了解决耦合,实现更强的扩展性架构,分布式 阅读全文

posted @ 2019-09-20 13:22 AI数据 阅读(1244) 评论(0) 推荐(0) 编辑

大数据算法(一)亚线性算法
摘要:来源:大数据算法 王宏志 一、概述 大数据定义:在给定的资源约束下,以大数据为输入,在给定时间约束内可以生成满足给定约束结果的算法。 大数据特点:4V 大数据算法可以不是: 精确算法 内存算法 串行算法 仅在电子计算机上运行的算法 大数据算法不仅是: 云计算 MapReduce 大数据分析和挖掘的算 阅读全文

posted @ 2019-09-20 11:15 AI数据 阅读(2946) 评论(0) 推荐(0) 编辑

SparkSQL
摘要:一、概述 组件 运行机制 转 SparkSQL – 从0到1认识Catalyst https://blog.csdn.net/qq_36421826/article/details/81988157 深入研究Spark SQL的Catalyst优化器(原创翻译) 更高效 查询优化 优化:把filte 阅读全文

posted @ 2019-09-19 18:47 AI数据 阅读(235) 评论(0) 推荐(0) 编辑

MySQL索引
摘要:一、索引概念和分类 对数据库表中的一列或者多列的值进行排序的一种结构,旨在提高数据的查询效率。 1.普通索引 不需要添加任何限制条件,可以创建在任何数据类型中,由字段本身的完整性约束决定。 2.唯一索引 使用unique参数进行设置,该值必须是唯一的。主键是一种特殊的唯一索引。 3.全文索引 使用f 阅读全文

posted @ 2019-09-18 23:42 AI数据 阅读(196) 评论(0) 推荐(0) 编辑

Spark程序设计
摘要:一、Spark编程模型 Spark常规步骤: 创建RDD-Scala集合/本地文件 并行度3,创建3个partition HDFS 文件被切分成block分布在多个节点上,通过textFile读入机器内存,转为RDD的partition对象。action触发之后,才真物理上去执行。 总结 外部的数据 阅读全文

posted @ 2019-09-18 17:47 AI数据 阅读(869) 评论(0) 推荐(0) 编辑

Java高并发网络编程(五)Netty应用
摘要:推送系统 一、系统设计 二、拆包和粘包 粘包、拆包表现形式 现在假设客户端向服务端连续发送了两个数据包,用packet1和packet2来表示,那么服务端收到的数据可以分为三种,现列举如下: 第一种情况,接收端正常收到两个数据包,即没有发生拆包和粘包的现象,此种情况不在本文的讨论范围内。 第二种情况 阅读全文

posted @ 2019-09-16 18:09 AI数据 阅读(1099) 评论(0) 推荐(0) 编辑

Java高并发网络编程(四)Netty
摘要:在网络应用开发的过程中,直接使用JDK提供的NIO的API,比较繁琐,而且想要进行性能提升,还需要结合多线程技术。 由于网络编程本身的复杂性,以及JDK API开发的使用难度较高,所以在开源社区中,涌现出来了很多对JDK NIO进行封装、增强的网络编程框架,比如Netty、Mina等。 一、Nett 阅读全文

posted @ 2019-09-16 15:48 AI数据 阅读(936) 评论(0) 推荐(0) 编辑

Java高并发网络编程(三)NIO
摘要:从Java 1.4开始,Java提供了新的非阻塞IO操作API,用意是替代Java IO和Java Networking相关的API。 NIO中有三个核心组件: Buffer缓冲区 Channel通道 Selector选择器 一、Buffer缓冲区 缓冲区本质上是一个可以写入数据的内存块(类似数组) 阅读全文

posted @ 2019-09-15 18:04 AI数据 阅读(775) 评论(0) 推荐(0) 编辑

Java高并发网络编程(二)BIO
摘要:一、阻塞 服务器端 sc.accept()会使服务端一直阻塞,直到连接被创建 InputStream也是阻塞的 客户端 OutputStream也是阻塞的,写完成之后才会返回 当同时启动两个客户端的时候 服务器只建立了一个连接,并等待客户端的输入 我们在被等待的客户端输入123 服务器收到123,并 阅读全文

posted @ 2019-09-15 13:08 AI数据 阅读(414) 评论(0) 推荐(0) 编辑

Java高并发网络编程(一)
摘要:一、OSI网络七层模型 因特网是一个极为复杂的网络,分层有助于我们对网络的理解 。分层也是一种标准,为了使不同厂商的计算机能够互相通信,以便在更大范围内建立计算机网络,有必要建立一个国际范围的网络体系结构标准。 ISO组织制定了OSI网络七层模型 而因特网只用到了五层 低三层: 屏蔽底层网络的复杂性 阅读全文

posted @ 2019-09-15 10:16 AI数据 阅读(1449) 评论(0) 推荐(0) 编辑

数据结构(六)图
摘要:术语 实现 算法 一、概述 存在对应关系就连边,邻接关系 顶点与顶点之间的关系 参与定义邻接关系的每个顶点,与这个邻接关系的关系称作关联关系 顶点与相关的某条边的关系 本章忽略下面这种边 无向图/有向图 所有边均无方向的图,即无向图undigrapy 反之,有向图digraph中均为有向边direc 阅读全文

posted @ 2019-09-14 16:31 AI数据 阅读(722) 评论(0) 推荐(0) 编辑

【转载】大数据面试知识图谱
摘要:来源:大数据技术与架构 公众号 作者:机智的王知先 来源:大数据技术与架构 公众号 作者:机智的王知先 场景描述:大数据开发岗位技能树,学习和复习总纲。 关键词:面试 大数据 大纲 正所谓,无招胜有招。 愿读到这篇文章的技术人早日明白并且脱离技术本身,早登彼岸。 一切技术最终只是雕虫小技。 大纲 本 阅读全文

posted @ 2019-09-14 10:06 AI数据 阅读(713) 评论(0) 推荐(0) 编辑

数据结构(四)二叉树
摘要:一、树 Vector和List都有明显的弱点,都无法兼顾动态和静态操作的高效性。 Tree可以认为将Vector和List的优点结合了起来,可以认为是列表的列表List<List>,半线性结构。 应用 层次关系的表示 从数学上看,树是一类特殊的图,联通无环图。 树由一组顶点(vertex)以及连接于 阅读全文

posted @ 2019-09-13 21:38 AI数据 阅读(652) 评论(0) 推荐(0) 编辑

Scala(一)基础
摘要:OOP 面向对象编程 AOP 面向切面编程 FP 函数式编程 编程语言都要定义变量,一些代码是用来注释的,变量和变量之间有一些关系,要做一些运算,运算离不开流程控制,进行运算的数据往往来自数据结构,最基本的是数组。 所有编程语言的需要: 变量 注释 运算符 流程控制 数组 编码规范:命名、换行、缩进 阅读全文

posted @ 2019-09-09 21:33 AI数据 阅读(436) 评论(0) 推荐(0) 编辑

Java虚拟机(一)
摘要:一、Java发展历程 Java之父,James Gosling博士 JDK Version 1.0 1996-01-23 Oak(橡树) 初代版本,伟大的一个里程碑,但是是纯解释运行,使用外挂JIT,性能比较差,运行速度慢。 JDK Version 1.1 1997-02-19 JDBC(Java 阅读全文

posted @ 2019-09-09 19:11 AI数据 阅读(290) 评论(0) 推荐(0) 编辑

【JavaWeb项目】一个众筹网站的开发(九)邮件开发
摘要:Java官方支持邮件开发,Javax-mail jdk中默认没有,需要另外下载 apache的基于Javax-mail开发了commons-mail,更加简单高效,推荐使用 一、电子邮件接收和发送协议 二、Apache-James邮件服务器 1.自己搭建 1)将压缩包解压到非中文无空格路径 2)解决 阅读全文

posted @ 2019-09-09 00:41 AI数据 阅读(384) 评论(0) 推荐(0) 编辑

【JavaWeb项目】一个众筹网站的开发(八)后台页面详细设置
摘要:一、user.jsp改造 删除引入菜单 抽取导航栏 nav-bar.jsp,删除引入导航栏 删除引入main.jsp的到好烂 数据库里添加url 报错,url不对 没有/ url正确 action="{ctp}/permission/user/login" <a href="{c_menu.ur 阅读全文

posted @ 2019-09-08 21:44 AI数据 阅读(926) 评论(0) 推荐(0) 编辑

【JavaWeb项目】一个众筹网站的开发(七)后台用户菜单
摘要:mvn命令不能运行: jar-war-pom之间是可以直接写,优先找这个工程,而不是仓库的位置 pom-pom子父关系,需要去仓库中找,我们需要使用<relativePath>../project-parent/pom.xml</relativePath> 在当前的子pom中,指定一下父pom文件在 阅读全文

posted @ 2019-09-07 07:29 AI数据 阅读(506) 评论(0) 推荐(0) 编辑

【JavaWeb项目】一个众筹网站的开发(六)后台用户权限控制
摘要:登陆成功进入控制面板后 左侧的菜单是共同的元素,抽取出来做静态包含 要求必须是按照不同的用户得到不同的菜单 用户做了权限限制,哪个用户能操作哪些内容(链接、按钮、内容) 一、RBAC权限模型 权限:权利与限制 可以做什么和不可以做什么 权限管理是大部分软件系统都会涉及的,而且权限管理的需求本质往往是 阅读全文

posted @ 2019-09-06 16:50 AI数据 阅读(902) 评论(0) 推荐(0) 编辑

【JavaWeb项目】一个众筹网站的开发(五)后台用户登录功能
摘要:用户模块 1)注册 表单校验,使用校验插件 用户密码需要加密存储 注册成功后来到管理控制台,将用户放在session中,防止以后获取 以后用户经常获取用户id,使用mabatis主键自增策略,保存用户的时候,将自增的主键放在TUser的id属性上 实际问题:用户的id不是自增 用户分开存储,经常查询 阅读全文

posted @ 2019-09-06 13:33 AI数据 阅读(775) 评论(0) 推荐(0) 编辑

【JavaWeb项目】一个众筹网站的开发(四)后台用户注册功能
摘要:重点: 密码加密存储 使用jQuery插件做校验和错误提示等 密码不能明文存储,在数据库中是加密存储的 可逆加密:通过密文使用解密算法得到明文 DES AES 不可逆加密:通过密文,得不到明文 MD5 SHA-1 SHA-2 MD5优点:压缩性,长度固定;容易计算;抗修改性;强抗碰撞;MD5加盐值加 阅读全文

posted @ 2019-09-06 01:31 AI数据 阅读(798) 评论(0) 推荐(0) 编辑

【JavaWeb项目】一个众筹网站的开发(三)第一个网页
摘要:一、bootstrap 本项目采用bootstrap3 bootstrap中文网 https://www.bootcss.com/ 使用bootstrap三步: 1.导入jQuery 2.导入bootstrap自己的css样式 3.导入bootstrap自己的js文件 bootstrap定义了大量的 阅读全文

posted @ 2019-09-05 12:55 AI数据 阅读(835) 评论(0) 推荐(0) 编辑

【JavaWeb项目】一个众筹网站的开发(二)架构搭建之架构测试
摘要:1.dao层和pojo都是使用mbg生成,基本的CRUD以及JavaBean 2.将mbg放在dao层,一旦dao层打包以后mbg就删除掉 一、创建数据库用于测试 数据库名称:scw_0325 SQL: /* */ /* DBMS name: MySQL 5.0 */ /* Created on: 阅读全文

posted @ 2019-09-04 22:42 AI数据 阅读(591) 评论(0) 推荐(0) 编辑

【JavaWeb项目】一个众筹网站的开发(一)架构搭建
摘要:本项目是@尚硅谷相关视频的记录。 本项目使用Maven构建,工程架构如下图所示: 一、公司的公共父工程和工具类包 1.父工程 每个公司都有自己的父工程 父工程作用:对公司使用的jar包进行统一管理,别的工程需要继承公司的父工程 父工程必须是pom 项目的打包类型:pom、jar、war pom > 阅读全文

posted @ 2019-09-04 14:20 AI数据 阅读(2277) 评论(0) 推荐(0) 编辑

SpringMVC概述
摘要:一、概述 最初,Java Web使用JSP+Java Bean的模式,两者之间存在严重的耦合。由于业务逻辑基本是由JSP完成的,Java和HTML也耦合在一起,前后端工作严重依赖和混杂在一起,两者都处理同一个JSP文件,前端等待后端完成,后端等待前端完成,然后才能进行测试,并且JSP很难复用。 JS 阅读全文

posted @ 2019-09-04 14:14 AI数据 阅读(211) 评论(0) 推荐(0) 编辑

调试Spark应用
摘要:本文摘自:《Hadoop专家-管理、调优与Spark|YARN|HDFS安全》Sam R. Alapati 一、通过日志聚合访问日志 二、当日志聚合未开启时 阅读全文

posted @ 2019-09-03 18:13 AI数据 阅读(186) 评论(0) 推荐(0) 编辑

Spark开发环境搭建和作业提交
摘要:Spark高可用集群搭建 在所有节点上下载或上传spark文件,解压缩安装,建立软连接 配置所有节点spark安装目录下的spark-evn.sh文件 配置slaves 配置spark-default.conf 配置所有节点的环境变量 spark-evn.sh 加入 -Dspark.deploy.r 阅读全文

posted @ 2019-09-03 18:10 AI数据 阅读(1186) 评论(0) 推荐(0) 编辑

【UML】最简单的类图
摘要:Rational Rose简明实用教程 https://blog.csdn.net/gz153016/article/details/49641847 Rational Rose是Rational公司出品的一种面向对象的统一建模语言的可视化建模工具。用于可视化建模和公司级水平软件应用的组件构造。现在 阅读全文

posted @ 2019-09-02 23:01 AI数据 阅读(1258) 评论(0) 推荐(0) 编辑

Spark核心原理初探
摘要:一、运行架构概览 Spark架构是主从模型,分为两层,一层管理集群资源,另一层管理具体的作业,两层是解耦的。第一层可以使用yarn等实现。 Master是管理者进程,Worker是被管理者进程,每个Worker节点启动一个Worker进程,了解每台机器的资源有多少,并将这些信息汇报各Master进程 阅读全文

posted @ 2019-09-02 16:00 AI数据 阅读(1328) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示