摘要：
交叉熵代价函数与二次代价函数 交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前，本文先简要介绍二次代价函数，以及其存在的不足。 1. 二次代价 阅读全文
posted @ 2018-04-17 16:16
飞末
阅读(1703)
评论(0)
推荐(0)
摘要：
转载请注明转自：http://www.cnblogs.com/feiyumo/p/8763186.html 1.concat对于字符串进行拼接 concat(str1, str2, ..., strN) - Returns the concatenation of str1, str2, ..., 阅读全文
posted @ 2018-04-09 23:37
飞末
阅读(59152)
评论(0)
推荐(4)
摘要：
转载请注明转自：http://www.cnblogs.com/feiyumo/p/8760846.html 一、获取当前时间 1.current_date获取当前日期 2018-04-09 2.current_timestamp/now()获取当前时间 2018-04-09 15:20:49.247 阅读全文
posted @ 2018-04-09 16:26
飞末
阅读(88460)
评论(0)
推荐(1)
摘要：
SparkNLP的官方文档 1>sbt引入: 2>maven引入： 3>直接下载jar包,然后运行：spark-submit --packages JohnSnowLabs:spark-nlp:1.4.2 一、该库的主要内容： 标记生成器 规范化 词干提取 Lemmatizer 实体提取器 日期提取 阅读全文
posted @ 2018-03-19 16:58
飞末
阅读(1108)
评论(0)
推荐(0)
摘要：
文件下载 Cloudera Manager 地址：http://archive.cloudera.com/cm5/cm/5/ 这里下载的是5.13.1的版本，https://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.13.1_x86 阅读全文
posted @ 2018-03-05 09:48
飞末
阅读(703)
评论(0)
推荐(0)
摘要：
文本数据预处理，包括文档切分、文本分词、去停用词（包括标点、数字、单字和其它一些无意义的词）、文本特征提取、词频统计、文本向量化等操作。 1.文档切分 文档切分这个操作是可选的，取决于你获取到的文档集合的形式。如果你得到的文档集合本身就是一篇一篇文章分开的，那么这一步就可以省略了。反之，如果文档集合 阅读全文
posted @ 2018-02-23 17:18
飞末
阅读(726)
评论(0)
推荐(0)
摘要：
Django 新手图文教程 1. web框架介绍 具体介绍Django之前，必须先介绍WEB框架等概念。 web框架： 别人已经设定好的一个web网站模板，你学习它的规则，然后“填空”或“修改”成你自己需要的样子 其它基于python的web框架，如tornado、flask、webpy都是在这个范 阅读全文
posted @ 2018-02-09 16:33
飞末
阅读(307)
评论(0)
推荐(0)
摘要：
1、基本抓取网页 get方法 post方法 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP； 在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段： 3、Cookies处理 cookies是某些网站为了辨别用户身份、进行s 阅读全文
posted @ 2018-02-09 16:28
飞末
阅读(225)
评论(0)
推荐(0)
摘要：
Apache Spark 内存管理详解 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的 阅读全文
posted @ 2018-02-09 16:25
飞末
阅读(562)
评论(0)
推荐(0)
摘要：
CarbonData是一种高性能大数据存储方案，支持快速过滤查找和即席OLAP分析，已在20+企业生产环境上部署应用，其中最大的单一集群数据规模达到几万亿。针对当前大数据领域分析场景需求各异而导致的存储冗余问题，业务驱动下的数据分析灵活性要求越来越高，CarbonData提供了一种新的融合数据存储方 阅读全文
posted @ 2018-02-09 10:52
飞末
阅读(451)
评论(0)
推荐(0)
摘要：
一.安装与项目的创建 1.安装 pip install django 2.查看版本 python -m django --version 3.创建项目 django-admin startproject mysite manage.py 实用的与django项目进行交互的命令行工具 mysite 项 阅读全文
posted @ 2018-01-29 18:02
飞末
阅读(3001)
评论(0)
推荐(0)
摘要：
一、修改工作目录 1.安装好Anaconda以后运行Anaconda Prompt 输入jupyter notebook --generate-config 2.会生成jupyter_notebook_config.py 3.找到文件，并打开修改 4.修改快捷方式 在jupyter notebook 阅读全文
posted @ 2018-01-10 22:15
飞末
阅读(329)
评论(0)
推荐(0)
摘要：
转自：https://www.cnblogs.com/zydev/p/5172782.html 1.date '+%Y%M%D' 按照格式显示当前日期,结果如下： 2.date -s "xxx xx：xx：xx" 设置系统时间 3.时间同步服务器 ntp常用服务器：中国国家授时中心：210.72.1 阅读全文
posted @ 2018-01-02 17:31
飞末
阅读(1258)
评论(0)
推荐(0)
摘要：
为什么需要工作流调度系统 1.一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等，各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可能有这样一个需求，某 阅读全文
posted @ 2018-01-02 16:55
飞末
阅读(621)
评论(0)
推荐(0)
摘要：
1. 自动代码 常用的有fori/sout/psvm+Tab即可生成循环、System.out、main方法等boilerplate样板代码 例如要输入for(User user : users)只需输入user.for+Tab 再比如，要输入Date birthday = user.getBirt 阅读全文
posted @ 2017-12-13 14:23
飞末
阅读(279)
评论(0)
推荐(0)
摘要：
1、word2vec 耳熟能详的NLP向量化模型。 Paper: https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Jav 阅读全文
posted @ 2017-12-11 10:32
飞末
阅读(3226)
评论(0)
推荐(1)
摘要：
汉语词性对照表[北大标准/中科院标准] 词性编码词性名称注 解 Ag 形语素 形容词性语素。形容词代码为 a，语素代码ｇ前面置以A。 a 形容词 取英语形容词 adjective的第1个字母。 ad 副形词 直接作状语的形容词。形容词代码 a和副词代码d并在一起。 an 名形词 具有名词功能的形容词 阅读全文
posted @ 2017-12-04 16:53
飞末
阅读(2002)
评论(0)
推荐(0)
摘要：
循环神经网络(RNN) 人们的每次思考并不都是从零开始的。比如说你在阅读这篇文章时，你基于对前面的文字的理解来理解你目前阅读到的文字，而不是每读到一个文字时，都抛弃掉前面的思考，从头开始。你的记忆是有持久性的。 传统的神经网络并不能如此，这似乎是一个主要的缺点。例如，假设你在看一场电影，你想对电影里 阅读全文
posted @ 2017-12-04 11:25
飞末
阅读(562)
评论(0)
推荐(0)
摘要：
一、直接python安装 1.CPU版本: pip3 install --upgrade tensorflow 2.GPU版本:pip3 install --upgrade tensorflow-gpu 一般学习推荐安装CPU版本，GPU版本有一些前置条件 二、Anaconda安装 1.安装Anac 阅读全文
posted @ 2017-12-01 09:48
飞末
阅读(287)
评论(0)
推荐(0)
摘要：
1、获取当前时间的年份、月份、天、小时等等 val nowDay=LocalDate.now().getDayOfMonth val nowDay=LocalTime.now().getHour 2、获取今天日期 def getNowDate():String={ var now:Date = ne 阅读全文
posted @ 2017-11-28 16:44
飞末
阅读(1614)
评论(0)
推荐(0)
浙公网安备 33010602011771号