02 2019 档案
摘要：Hadoop Shell命令 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep
阅读全文
摘要：本文从以下四个方面，阐述风控管理平台的建设： 一. 架构演进 二. 技术架构 三. 业务架构 四. 系统难点 一. 架构演进 将公司内部风控系统从业务代码为主的风控架构改造为了平台化为主的2代架构，进而改造成为动态化及离线数据模型化的2.5代架构，正在向深度学习，在线数据模型的3代架构上演变。 二.
阅读全文
摘要：本文从以下七个方面，阐述在Excel中用REPT函数制作图表： 一. 图形效果展示 二. REPT语法解释 三. REPT制作条形图 四. REPT制作漏斗图 五. REPT制作蝴蝶图 六. REPT制作柱状图 七. REPT制作甘特图 一. 图形效果展示 这些图表都是用REPT函数制作成的，而且是
阅读全文
摘要：本文从阐述Python实现客观赋权法的四种方式： 一. 熵权法 二. 因子分析权数法(FAM) 三. 主成分分析权数法(PCA) 四. 独立性权系数法 Python实现客观赋权法，在进行赋权前，先导入数据（列：各维属性；行：各样本），并自行进行去空值、归一化等操作。 一. 熵权法 若某个指标的信息熵
阅读全文
摘要：本文从以下四个方面，介绍用Python实现熵值法确定权重： 一. 熵值法介绍 二. 熵值法实现 三. Python实现熵值法示例1 四. Python实现熵值法示例2 一. 熵值法介绍 熵值法是计算指标权重的经典算法之一，它是指用来判断某个指标的离散程度的数学方法。离散程度越大，即信息量越大，不确定
阅读全文
摘要：本文从以下六个方面，详细阐述正则化L1和L2： 一. 正则化概述 二. 稀疏模型与特征选择 三. 正则化直观理解 四. 正则化参数选择 五. L1和L2正则化区别 六. 正则化问题讨论 一. 正则化概述 正则化（Regularization），L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，
阅读全文
摘要：归一化 （1）什么是归一化？ 通俗理解，就是对原始数据进行线性变换把数据映射到[0, 1]区间。 具有的特点： 1、对不同特征维度进行伸缩变换。 2、改变原始数据的分布。使各个特征维度对目标函数的影响权重是一致的（即使得那些扁平分布的数据伸缩变换成类圆形）。 3、对目标函数的影响体现在数值上 。 4
阅读全文
摘要：本文记录一下在CentOS 6.7上，安装neo4j图数据库，本文安装的版本为neo4j-community-2.3.9-unix.tar.gz。 下载Neo4j安装包 使用wget命令获取Neo4j安装包~如： 解压Neo4j安装包 使用tar -zvxf 命令解压neo4j安装包~ 如： 修改目
阅读全文
摘要：一、neo4j 介绍 Neo4j是一个高性能的,NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数
阅读全文
摘要：1、准备 win10系统，其他windows系统安装过程大同小异官网下载jdk1.8下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html *首先要 接受许可协议 2、找到下载
阅读全文
摘要：Linux的压缩/解压缩命令详解及实例 压缩服务器上当前目录的内容为xxx.zip文件 zip -r xxx.zip ./* 解压zip文件到当前目录 unzip filename.zip 另：有些服务器没有安装zip包执行不了zip命令，但基本上都可以用tar命令的，实例如下： tar -zcvf
阅读全文
摘要：第一步：请先打开 Mac 系统中的 Finder 应用，接下来请按快捷键组合 Shift+Command+G 三个组合按键，并输入 Hosts 文件的所在路径：/etc/hosts ， 随后即可在 Finder 窗口中看到 hosts 文件了，如图所示 第二步：搜索etc/hosts 就可以找到ho
阅读全文
摘要：HIVE-如何查看执行日志 HIVE既然是运行在hadoop上，最后又被翻译为MapReduce程序，通过yarn来执行。所以我们如果想解决HIVE中出现的错误，需要分成几个过程 2,3过程中的错误，请参考hadoop相关的教程，这里只是提醒大家思考的时候需要考虑到这两个方面的原因。搞清楚哪一个过程
阅读全文
摘要：awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ fil
阅读全文
摘要：1、安装cron工具：apt-getinstall cron 2、开启定时任务：crontab –e 定时任务语句格式为：执行周期+命令。 周期有5个域，分别是分，时，日(day of month)，月（month of year），周（day of week） 每个域不加限制任意的话用*，整体格式
阅读全文
摘要：在window下开发有一个大坑，就是换行默认是CRLF，也就是回车换行，但是Linux下只有换行LF，这样代码提交后，会出现编译问题，所以最好的办法是在IDEA下设置默认为LF。 首先我们先介绍CRLF，LF和CR这三种东西，CR是MAC老版本的做法，就是回车，但是后来的MAC系统统一换成LF了，L
阅读全文
摘要：IDEA设置头注释，自定义author和date的方法如下所示： 去掉波浪线的方式：鼠标选中单词 --> 点击鼠标右键 --> spelling --> save 'xxx' to distionary
阅读全文
摘要：Java数学函数Math类常用： Java数学函数Math类清单： 参考文章： https://blog.csdn.net/chehec2010/article/details/80687122 https://blog.csdn.net/javaniuniu/article/details/604
阅读全文
摘要：记录一下在IDEA上怎样将写的代码提交到GitHub远程库： 下面这个图是基本的提交代码的顺序： 1. 将代码Add到stage暂存区本地修改了代码后，需先将代码add到暂存区，最后才能真正提价到git仓库。 首先，IDEA中，选中要提交的代码——>右键——>Git——>Add。这样代码就add到了
阅读全文
摘要：本文从以下十个方面，介绍Git命令的常用清单：
一、新建代码库
二、配置
三、增加/删除文件
四、代码提交
五、分支
六、标签
七、查看信息
八、远程同步
九、撤销
十、其他
阅读全文
摘要：本文从以下九个方面，介绍Git命令的基本操作：
一. Git安装
二. Git基本配置
三. 创建Git仓库
四. 获得Git仓库
五. 提交更新
六. 提交历史查看
七. 远程仓库
八. 打Tags
九. Git分支
阅读全文
摘要：vim 删除文件全部内容， 重新再写入新的内容，进行其他的操作。vi test.log→:0,$d →:wq
阅读全文
摘要：Python中使用ElementTree可以很方便的处理XML，但是产生的XML文件内容会合并在一行，难以看清楚。 如下格式： 使用minidom模块中的toprettyxml和writexml方法都有参数可以优化XML，但是有两个问题： a. 如果解析的XML已经是美化过的，那么执行该方法会多出很
阅读全文
摘要：本文从以下两个方面, 用Python实现XML的操作： 一. minidom写入XML示例1 二. minidom写入XML示例2 三. ElementTree写入/修改示例 四. ElementTree读取/修改/写入示例 一. minidom写入XML示例1 1.引入包 2.write XML方
阅读全文
摘要：本文从以下两个方面, 阐述Python的压缩文件处理方式: 一. zipfile 二. tarfile 一. zipfile 虽然叫zipfile，但是除了zip之外，rar，war，jar这些压缩（或者打包）文件格式也都可以处理。 zipfile模块常用的一些操作和方法： is_zipfile(f
阅读全文
摘要：#把datetime转成字符串 def datetime_toString(dt): return dt.strftime("%Y-%m-%d-%H") #把字符串转成datetime def string_toDatetime(string): return datetime.strptime(string, "%Y-%m-%d-%H") #把字符串转成时间戳形式 def ...
阅读全文
摘要：本文从以下三个方面, 阐述在博客园添加版权签名: 一. 效果展示 二. 权限申请 三. 设置步骤 一. 效果展示 在博客园的每篇文章最后, 都自动出现版权签名, 如图所示: 二. 权限申请 点击博客园的【管理】 → 【设置】→ 一直往下拉, 找到【博客侧边栏公告（支持HTML代码）（申请JS权限）】
阅读全文
摘要：ftp命令用来设置文件系统相关功能。ftp服务器在网上较为常见，Linux ftp命令的功能是用命令的方式来控制在本地机和远程机之间传送文件，这里详细介绍Linux ftp命令的一些经常使用的命令，相信掌握了这些使用Linux进行ftp操作将会非常容易。 语法 选项 参数 主机：指定要连接的FTP服
阅读全文
摘要：本文从以下三个方面, 阐述Python如何搭建FTP服务器 一. Python搭建FTP服务器 二. FTP函数释义 三. 查看目录结构 四. 上传下载程序 一. Python搭建FTP服务器 1. 搭建FTP服务器的Server端 2. FTP服务器的客户端连接 二. FTP函数释义 Python
阅读全文
摘要：本文从以下三个方面, 阐述如何搭建FTP服务器 一. FTP介绍 二. 前期准备 三. 搭建步骤 四. 设置其他电脑可连 一. FTP介绍 FTP(File Transfer Protocol)是TCP/IP网络上两台计算机传送文件的协议，使得主机间可以共享文件。 FTP服务器可以方便的供用户上传，
阅读全文
摘要：本文从以下三个方面, 阐述在博客园添加鼠标粒子吸附特效: 一. 效果展示 二. 权限申请 三. 设置步骤 一. 效果展示 在博客园的页面, 出现鼠标粒子吸附的特效, 如图所示: 二. 权限申请 点击博客园的【管理】 → 【设置】→ 一直往下拉, 找到【博客侧边栏公告（支持HTML代码）（申请JS权限
阅读全文
摘要：本文从以下三个方面, 阐述在博客园添加鼠标点击特效: 一. 效果展示 二. 权限申请 三. 设置步骤 一. 效果展示 在博客园的页面, 鼠标点击的时候出现 "双心心" 的效果, 如图所示: 二. 权限申请 点击博客园的 【管理】 → 【设置】 → 一直往下拉, 找到 【博客侧边栏公告（支持HTML代
阅读全文
摘要：本文从以下三个方面, 阐述在博客园随笔中增加目录导航链接: 一. 随笔/目录撰写 二. 插入/编辑书签 三. 插入/编辑链接 一. 随笔/目录撰写 把需要的文章内容先写完整，章节标题添加标题3的样式（在TinyMCE编辑器下，标题3的样式最适宜）。 文章内容应精炼，结构清晰，逻辑简单，中心思想明确、
阅读全文
摘要：本文从以下六个方面全面介绍SpringBoot:
一. SpringBoot 简单介绍
二. SpringBoot 项目开发
三. Spring Boot 项目解析
四. Spring Boot 的热部署
五. Spring Boot 实践应用
六. Spring Boot 深入学习
阅读全文
摘要：在本指南中，我们将从头开始帮助你搭建自己的Kafka Streams流处理程序。设置Maven项目; 编写第一个Streams应用程序：Pipe; 编写第二个Streams应用程序：Line Split; 编写第三个Streams应用程序：Wordcount
阅读全文
摘要：本文从以下六个方面详细介绍Kafka Streams的演示程序:
Step 1: 下载代码
Step 2: 启动kafka服务
Step 3: 准备输入topic并启动Kafka生产者
Step 4: 启动 Wordcount 程序
Step 5: 处理数据
Step 6: 停止应用
阅读全文
摘要：本文将从以下三个方面全面介绍Kafka Streams
一. Kafka Streams 概念
二. Kafka Streams 使用
三. Kafka Streams WordCount
阅读全文
摘要：本文介绍了Kafka Streams的背景，如Kafka Streams是什么，什么是流式计算，以及为什么要有Kafka Streams。接着介绍了Kafka Streams的整体架构，并行模型，状态存储，以及主要的两种数据集KStream和KTable。并且分析了Kafka Streams如何解决流式系统中的关键问题，如时间定义，窗口操作，Join操作，聚合操作，以及如何处理乱序和提供容错能力。最后结合示例讲解了如何使用Kafka Streams。
阅读全文
摘要：本文将从以下五个方面初识Kafka 一. Kafka组件介绍 二. 消费者消费的条件 三. Kafka与ActiveMQ的区别 四. Kafka如何保证数据不丢失 五. Kafka的深入学习
阅读全文
浙公网安备 33010602011771号