随笔分类 - 大数据
摘要：jdk 的配置 tar xf jdk-8u161-linux-x64.tar.gz -C /usr/local/ mv /usr/local/{jdk1.8.0_161,jdk} tar xf zookeeper-3.4.14.tar.gz -C /usr/local/ mv /usr/local/
阅读全文
摘要：jdk 的配置 tar xf jdk-8u161-linux-x64.tar.gz -C /usr/local/ mv /usr/local/{jdk1.8.0_161,jdk} tar xf zookeeper-3.4.14.tar.gz -C /usr/local/ mv /usr/local/
阅读全文
摘要：按照单词切分，不做处理 GET _analyze { "analyzer": "standard", "text": "2 running Quick brawn-foxes leap over lazy dogs in the summer evening." } { "tokens" : [ {
阅读全文
摘要：MapReduce是并发计算处理海量数据的框架；它在hadoop里承担了核心计算框架的角色；并不是所有的大数据处理都要用MapReduce，而是MapReduce是处理海量数据的分布式计算框架 框架解决了：数据的存储（存储在hdsf文件系统里）、作业调度（hadoop集群有很多计算作业）、容错、机器
阅读全文
摘要：elasticsearch 的索引与文档是开发关注的视角；节点、集群、分片是运维关注的视角 elasticearch 文档的介绍 - elasticearch 是面向文档的，文档是所有可搜索数据的最小单位 日志文件的日志项 一部电影的具体内容/一张唱片的详细信息 MP3播放器里一首-歌/一篇PDF文
阅读全文
摘要：es 下载地址：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.0-linux-x86_64.tar.gz kibana下载地址：wget https://artifacts.elastic.co
阅读全文
摘要：jdk安装，三台机器一样装 hosts 本地文件解析，三台机器一样 配置免密码登录 安装hadoop 将hadoop拷贝从节点
阅读全文
摘要：消息系统分类 peer-to-peer 1. 一般基于Pull或者Polling接受消息 2. 发送到对列中消息只能被一个接受方接受，即使有多个接受者在同一个对列中监听同一个消息 3. 即支持异步即可即弃 的消息传递方式，也支持同步请求应答传递方式 发布订阅 1.发布到一个主题消息内，可被多个订阅者
阅读全文
摘要：环境准备 安装jdk 设置环境变量 安装Hadoop 配置hadoop安装启动 浏览器访问http://192.168.10.5:8088 存储访问路径http://192.168.10.5:50070
阅读全文
摘要：jdk 配置 # tar xf jdk-8u161-linux-x64.tar.gz -C /usr/local/ # vim /etc/profile.d/jdk.sh export JAVA_HOME=/usr/local/jdk1.8.0_161 export CLASSPATH=.:$JAV
阅读全文
