右介

摘要： Apache Kafka 是什么？ Kafka 是一个开源的分布式流处理平台，其简化了不同数据系统的集成。流指的是一个数据管道，应用能够通过流不断地接收数据。Kafka 作为流处理系统主要有两个用处： 相比于其它技术，Kafka 拥有更高的吞吐量，内置分区，副本和容错率。这些使得 Kafka 成为大 阅读全文

摘要： Apache Kafka - 安装步骤 步骤1 - Java安装 希望您现在已经在您的计算机上安装了Java，因此您只需使用以下命令进行验证。 如果您的计算机上成功安装了Java，则可以看到已安装的Java版本。 步骤1.1 - 下载JDK 如果未下载Java，请通过以下链接下载最新版本的JDK，并 阅读全文

摘要： 2.1 下载Spark 略 2.2 Spark中Python和Scala的shell Spark shell可用来与分布式存储在许多机器的内存或者硬盘上的数据进行交互，并且处理过程的分发由Spark自动控制完成。 降低shell日志级别：conf目录下创建名为log4j.properties文件，将 阅读全文

摘要： 1.1 Spark是什么？ Spark是一个用来实现快速而通用的集群计算的平台。 1.2 一个大一统的软件栈 Spark项目包含多个紧密集成的组件。 1.2.1 Spark Core Spark Core实现了Spark的基本功能， 包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark 阅读全文

摘要： 机器IP为192.168.58.11，计划在上面新建两个分片并添加到原有分片集群中。 实施如下： 1、58.11创建mongodb文件夹 mkdir -p /opt/mongodb cd /opt/mongodb 2、58.11下载mongodb的安装程序包 wget http://fastdl.m 阅读全文

摘要： import os import base64 fileSize = os.path.getsize(文件路径) with open(文件路径, 'rb') as f: data = base64.b64encode(f.read()) 阅读全文

摘要： # coding: utf8 from PIL import Image img = Image.open("img.jpg") print img.sizeprint img.format 阅读全文

摘要： #连接mongos /opt/mongodb/mongodb-linux-x86_64-2.4.8/bin/mongo 127.0.0.1:27017 #使用admin数据库 use admin #指定testdb分片生效 db.runCommand( { enablesharding :"dbna 阅读全文

摘要： 在部门服务器搭建MongoDB分片集群，记录整个操作过程，朋友们也可以参考。 计划如下： 用5台机器搭建，IP分别为：192.168.58.5、192.168.58.6、192.168.58.8、192.168.58.9、192.168.58.10。分为两个分片，每个分片下有一个primary，一个 阅读全文

摘要： #coding=utf-8 from pymongo import MongoClient from lxml import etree import requests jigou = u"\r\n 【机构】\r\n " zuozhe = u"\r\n 【作者】\r\n " # 获取数据库 def get_db(): client ... 阅读全文