摘要：针对每天TB级的数据采集，一般而言，这些系统需要具有以下特征： 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统； 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。 从设计架构，负载均衡，可扩展性和容错性等方面对
阅读全文
posted @ 2017-10-12 08:36
随笔分类 - other
摘要：Kibana 和 Grafana 是两个开源工具，能可视化和推断大量日志数据内的趋势。Kibana 是一个分析和可视化平台，它可以让你浏览、可视化存储在Elasticsearch集群上排名靠前的日志数据，并构建仪表盘。你可以执行深入的数据分析并以多种图表、表格和地图方式可视化这些数据。Grafana
阅读全文
posted @ 2017-05-17 21:01
摘要：最近工作中需求定时爬取不同城市每天的温度。其实就是通过编程的方法去抓取不同网站网页进行分析筛选的过程。.NET提供了很多类去访问并获得远程网页的数据，比如WebClient类和HttpWebRequest类。这些类对于利用HTTP去访问远端的网页并且下载下来是很有用的，但在对于所下载下来的HTML的
阅读全文
posted @ 2017-03-13 23:15
摘要：待尝试研究的可视化组件及产品： 开源组件 商业组件 开源组件 zeppelin Caravel D3.js Flare talend(ETL) pentaho spagoBI NanoCubs Dygraphs Saiku airpal Chart.js chartist.js ECharts Fn
阅读全文
posted @ 2017-02-14 23:49
摘要：Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来
阅读全文
posted @ 2016-12-06 22:02
