摘要：
[TOC] 前言 在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming嵌入kafk 阅读全文
摘要：
[TOC] 前言 在自然语言处理过程中，经常会涉及到如何度量两个文本之间的相似性，我们都知道文本是一种高维的语义空间，如何对其进行抽象分解，从而能够站在数学角度去量化其相似性。而有了文本之间相似性的度量方式，我们便可以利用划分法的K means、基于密度的DBSCAN或者是基于模型的概率方法进行文本 阅读全文
摘要：
[TOC] 马里奥AI实现方式探索 ——神经网络+增强学习 儿时我们都曾有过一个经典游戏的体验，就是马里奥（顶蘑菇^v^），这次里约奥运会闭幕式，日本作为2020年东京奥运会的东道主，安倍最后也已经典的马里奥形象出现。平时我们都是人来玩马里奥游戏，能否可以让马里奥智能的自己闯关个呢？OK，利用人工智 阅读全文
摘要：
[TOC] 前言 在使用Spark Streaming的过程中对于计算产生结果的进行持久化时，我们往往需要操作数据库，去统计或者改变一些值。最近一个实时消费者处理任务，在使用spark streaming进行实时的数据流处理时，我需要将计算好的数据更新到hbase和mysql中，所以本文对spark 阅读全文
摘要：
[TOC] Spark简介 整体认识 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 Spark在整个大数据系统中处于中间偏上层的地位，如下图，对hadoop起到了补 阅读全文
摘要：
HTTP报文是面向文本的，报文中的每一个字段都是一些ASCII码串，各个字段的长度是不确定的。HTTP有两类报文：请求报文和响应报文。 请求报文 一个HTTP请求报文由请求行（request line）、请求头部（header）、空行和请求数据4个部分组成，下图给出了请求报文的一般格式。 （1）请求 阅读全文
摘要：
题目描述Given a stringS, find the longest palindromic substring inS. You may assume that the maximum length ofSis 1000, and there exists one unique longes... 阅读全文
摘要：
Mysql作为一个开源的免费数据库，在平时项目当中会经常使用到，而在项目当中我们的着重点一般在设计使用数据库上而非mysql本身上，所以在提到mysql的存储引擎时，一般都不曾知道，这里经过网上相关文献的查阅总结下Mysql存储引擎。 什么是存储引擎 在数据库管理系统中（DBMS），一个数据库引擎（ 阅读全文
摘要：
--referenceJava Heap Memory vs Stack Memory Difference在数据结构中，堆和栈可以说是两种最基础的数据结构，而Java中的栈内存空间和堆内存空间有什么异同，以及和数据结构中的堆栈有何关系？一、Java 堆存储空间堆内存（堆存储空间）会在Java运行时... 阅读全文
摘要：
——referenceJava is Pass by Value and Not Pass by Reference其实这个问题是一个非常初级的问题，相关的概念初学者早已掌握，但是时间长了还是容易混淆，特此总结一下一、值传递和引用传递 首先这里我们先看下两者的异同：值传递：方法调用时，实际参数把它... 阅读全文