mengrennwpu

摘要： 一. 简介 1. 机器学习中，可以将数据划分为连续数据和离散数据 a. 连续数据：可以取任何值，如房价 b. 离散数据：仅有少量特殊值，如一个房屋有2个或3个房间，但不能为2.75个房间 二. 创建向量 1. 向量中的各个维度称为特征 2. Spark中既有局部向量、矩阵，也有分布式矩阵。分布式矩阵 阅读全文

摘要： 1. 概述 ScalaTest是scala生态系统中最流行和灵活的测试工具，可以测试scala、js、java代码。 2. ScalaTest的特性 a. ScalaTest的核心是套件(suite)，即0到多个测试的集合b. 测试可以是含有一个名称的任意内容，该名称可以用来启动、待处理或取消，也可 阅读全文

摘要： 1. 背景 近日，线上的服务出现异常，调用服务返回的JSON格式数据不完整，导致客户端解析异常，因此记录了本次的填坑之旅(nnd)... 2. 排查过程 2.1 服务器分析 登录到服务所在linux服务器，查看磁盘I/O信息iotop、CPU信息top、网络请求netstat -alnp等一通操作， 阅读全文

摘要： 1. 背景 (1) spark的一般开发与运行流程是在本地Idea或Eclipse中写好对应的spark代码，然后打包部署至驱动节点，然后运行spark-submit。然而，当运行时异常，如空指针或数据库连接等出现问题时，又需要再次修改优化代码，然后再打包....有木有可能只需一次部署？ (2) 当 阅读全文

摘要： 1. 任务背景 近日有个项目任务，要求读取压缩在Zip中的百科HTML文件，经分析发现，提供的Zip文件有如下特点(=>指代对应解决方案)： (1) 压缩为分卷文件 => 只需将解压缩在同一目录中的一个分卷zip即可解压缩出整个文件 (2) 压缩文件中又包含不同的两个文件夹，且各包含n个小zip文件 阅读全文

摘要： 1. Es中10亿级别的数据量，如何提高查询效率 (1) 性能优化关键：file system cache a. 不要期待随手挑一个参数，就可以万能的应对所有性能慢的场景 b. es依赖于底层的file system cache，如果给file system cache更多的内存，尽量让内存容纳所有 阅读全文

摘要： 1. Graphx概念 针对某些领域，如社交网络、语言建模等，graph-parallel系统可以高效地执行复杂的图形算法，比一般的data-parallel系统更快。 Graphx是将graph-parallel的data-parallel统一到一个系统中。允许用户将数据当成一个图或一个集合RDD 阅读全文

摘要： 1. 介绍 Spark Streaming是Spark生态系统中一个重要的框架，建立在Spark Core之上，与Spark SQL、GraphX、MLib相并列。 Spark Streaming是Spark Core的扩展应用，具有可扩展性、高吞吐量、可容错性等特点。 可以监控来自Kafka、Fl 阅读全文

摘要： 1. 自定义累加器 自定义累加器需要继承AccumulatorParam，实现addInPlace和zero方法。 例1：实现Long类型的累加器 例2：定义Set[String]，可用于记录错误日志 2. AccumulableCollection使用 阅读全文

摘要： 熟悉了一段时间的Bash编程，因此借此任务操作一把bash编程，主要涉及到Redis单节点与Redis集群的操作 1. 任务背景 近日有个任务需要将历史的Redis(主从节点)中的数据迁移至Redis集群中。相关条件与要求如下： (1) 历史Redis以及新的Redis集群分别部署在北京、合肥、广州 阅读全文