java爬虫中jsoup的使用 jsoup可以用来解析HTML的内容，其功能非常强大,它可以向javascript那样直接从网页中提取有用的信息 例如1： 从html字符串中解析数据 //直接从字符串中获取 public static void getParByString() { String h Read More
hadoop+zookeeper集群高可用搭建 Senerity 发布于 2016/12/12 09:19 【推荐阅读】滴滴出行的数据架构和信息流处理思路解析->>> Hadoop集群搭建步骤 1. 架构图 2. 准备5台机器 centosa: 192.168.42.128 centosb: 192 Read More
部署zookeepe高可用集群 部署规划 Nno1 192.168.1.31 Nno2 192.168.1.37 Node32 192.168.1.32 Node33 192.168.1.33 Node34 192.168.1.34 1)主机01 [root@node31 bin]# vim /et Read More
hadoop Hadoop是一个用于海量数据统计分析的分布式计算框架，封装了分布式计算中比较困难的进程间通信、负载均衡，任务调度等模块，降低了学习门槛。在最简单的程序实现中，仅仅需要重写map和reduce方法，并实现任务提交逻辑。接下来，就让我们一起推开Hadoop的大门，走进大数据的神奇世界。 Read More
Hadoop 操作步骤： 192.168.1.110-113 主机名分别为 nn01(zhuji) node1 node2 node3 个个主机之间要免密 互通/etc/host 1. 安装openjdk-devel # yum -y install java-1.8.0-openjdk-devel Read More
大数据学习路线（完整详细版） 2018年01月05日 20:15:06 阅读数：5550 大数据学习路线 java(Java se,javaweb) Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase Read More
hadoop集群搭建--CentOS部署Hadoop服务 在了解了Hadoop的相关知识后，接下来就是Hadoop环境的搭建，搭建Hadoop环境是正式学习大数据的开始，接下来就开始搭建环境！我们用到环境为：VMware 12+CentOS6.4 hadoop安装步骤大纲： 1、准备硬件（一台虚拟主 Read More
数据批量导入 • 使用 _bulk 批量导入数据 – 批量导入数据使用 POST 方式,数据格式为 json,url编码使用 data-binary – 导入含有 index 配置的 json 文件 gzip –d logs.jsonl.gz curl -XPOST 'http://192.168. Read More
ELK 是什么? 2018年07月04月 09:37:46 内容和简介 • Sina、饿了么、携程、华为、美团、freewheel、畅捷通 、新浪微博、大讲台、魅族、IBM...... 这些公司都在使用 ELK!ELK!ELK! • ELK竟然重复了三遍,是个什么鬼? ELK 是什么? • ELK Read More
ansible七种武器和json • 第一种武器 – ansible 命令,用于执行临时性的工作,也是我们之前主要学习的功能,必须掌握 • 第二种武器 – ansible-doc 是 Ansible模块文档说明,针对每个模块都有详细的用法说明及应用案例介绍,功能和Linux系统man命令类似,必须掌 Read More
什么是ansible l Ansible是2013年推出的一款IT自劢化和DevOps软件,目前由Redhat已签署Ansible收购协议。其是基亍Python研发,糅合了很多老运维工具的优点实现了批量操作系统配置,批量程序的部署,批量运行命令等功能 • ansible可以让我们实现: – 自劢化部 Read More
部署DOCKER ******************************************************************* docker 安装环境准备 物理机： 添加一个网桥 vbr1 配置两个虚拟机 第一个 安装nove节点最少 6G 内存 单独添加一块硬盘给 ope Read More
什么是云计算 什么是云计算 • 基于互联网的相关服务的增加、使用和交付模式 • 这种模式提供可用的、便捷的、按需的网络访问,迚入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务) • 这些资源能够被快速提供,只需投入很少的管理工作,戒不服务供应商迚行很少的交互 • 通常涉及通过互联 Read More
系统&服务管理进阶 搭建KVM服务器 虚拟化概述 • virtualization 资源管理 – x个物理资源 --> y个逻辑资源 – 实现程度:完全、部分、硬件辅劣(CPU) 虚拟化概述(续1) • 虚拟化主要厂商及产品 系 列 PC/服务器版代表 VMware VMware Workstati Read More