---江北

摘要： 一、切片 对于取指定索引的值，python提供了切片来简化傻傻的循环 其他诸如负数之类也是一如既往的支持的 更多切片操作，参考：https://www.liaoxuefeng.com/wiki/1016959663602400/1017269965565856 二、迭代 普通遍历可以使用循环 遍历d 阅读全文

摘要： 一、概述 python和其他高级语言一样，支持函数 注意和scala不一样，结果必须使用return，否则默认return None！这和scala最后一个值作为返回是不一样的！ 二、函数调用 和其他语言一样，写出函数名，传入合适的参数即可，例如调用内置函数abs： 函数支持别名： 如果传入了错误的 阅读全文

摘要： 一、基本语法 1.行和缩进 Python中，不使用括号来表示代码的类和函数定义块或流程控制。 参考：https://www.w3cschool.cn/python3/python3-basic-operators.html 官方中文文档参考：https://docs.python.org/zh-cn 阅读全文

摘要： 一、概述 与IDEA同一家——Jetbrains出品的IDE，强大之处不再赘述 二、安装 点击下载一个合适的版本 参考网友的激活方式激活：https://blog.csdn.net/u014044812/article/details/78727496 这里就使用简单的license server： 阅读全文

摘要： 一、概述 推荐路神的ES权威指南翻译：https://es.xiaoleilu.com/010_Intro/00_README.html 官网：https://www.elastic.co/cn/products/elasticsearch 精品博文：https://blog.csdn.net/la 阅读全文

摘要： 一、概述 1.logstash是什么 根据官网介绍： Logstash 是开源的服务器端数据处理管道，能够同时 从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（我们的存储库当然是 Elasticsearch。） //属于elasticsearch旗下产品（JRuby开发， 阅读全文

摘要： 前一篇中数据源采用的是从一个socket中拿数据，有点属于“旁门左道”，正经的是从kafka等消息队列中拿数据！ 主要支持的source，由官网得知如下： 获取数据的形式包括推送push和拉取pull 一、spark streaming整合flume 1.push的方式 更推荐的是pull的拉取方式 阅读全文

摘要： 一、概述 1.什么是spark streaming Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processi 阅读全文

摘要： 一、SparkSQL结合hive 1.首先通过官网查看与hive匹配的版本 这里可以看到是1.2.1 2.与hive结合 spark可以通过读取hive的元数据来兼容hive，读取hive的表数据，然后在spark引擎中进行sql统计分析，从而，通过sparksql与hive结合实现数据分析将成为一 阅读全文

摘要： 一、概述 1.什么是sparkSQL 根据官网的解释： Spark SQL is a Spark module for structured data processing. 也就是说，sparkSQL是一个处理结构化数据的组件 更多的介绍，可以参见官网或者w3c：https://www.w3csc 阅读全文