文章分类 - DEVOPS运维
摘要：memtier_benchmark是Redis Labs推出的一款命令行工具，它能够产生各种各样的流量模式，可以对Memcached和Redis实例进行基准测试。这个工具提供了丰富的自定义选项和报表功能，通过命令行界面就能够轻松地使用。这个工具的一些优点如下所述： memtier_benchmark
阅读全文
摘要：背景 在大数据时代，数据已经成为公司的核心竞争力。此前，我们介绍了美团酒旅起源数据治理平台的建设与实践，主要是通过各种数据分析挖掘手段，为公司发展决策和业务开展提供数据支持。 近期，业内数据安全事件频发，给相关企业造成了无可挽回的损失，更为数据安全防护意识薄弱的企业敲响了警钟。如何对公司内部数据最为
阅读全文
摘要：背景与意义 境内度假是一个低频、与节假日典型相关的业务，流量在节假日较平日会上涨五到十几倍，会给生产系统带来非常大的风险。因此，在2018年春节前，我们把整个境内度假业务接入了全链路压测，来系统性地评估容量和发现隐患，最终确保了春节期间系统的稳定。 在整个过程中，我们意识到，全链路压测在整个系统稳定
阅读全文
摘要：01 — 干货分享 3月23日（上周六），霍格沃兹测试学院在北京腾讯众创空间举办了测试技术分享暨2019·第一期「测试开发能力比赛」线下活动，4 位测试大咖为 100 多位同学做技术干货主题分享。思寒现场解析了 8 道测试开发工程师能力测评经典题目，并为答题优胜者颁发了 1000 元现金奖励。 本次
阅读全文
摘要：很多平台一旦做大了，平台的流量就会陡增，同时并发访问的流量也会暴增，原本规划的硬件配置就无法满足当下的流量问题。 那么如何处理好高并发的流量问题呢？ 小编将这些分为2个方面：架构层面和网站本地项目层面。 一、架构层面 1、硬件升级 假设一台服务器最多能支持每天10万独立IP，如果访问量增大的话，那么
阅读全文
摘要：《大数据课程实验案例：网站用户行为分析—-步骤三：Hive、MySQL、HBase数据互导》开发团队：厦门大学数据库实验室 联系人：林子雨老师 ziyulin@xmu.edu.cn版权声明：版权归厦门大学数据库实验室所有，请勿用于商业用途；未经授权，其他网站请勿转载 本教程介绍大数据课程实验案例“网
阅读全文
摘要：首先这类NoSQL数据库的设计宗旨基本是“读多写少”。 而我们的需求是：有一大批数据（5亿条记录，每条100B左右）。需要灌入MongoDB。 考虑到数据规模，事先已经做好了Sharding，10台机器。 1、并发12进程，持续灌入数据。 一开始速度很快，基本10W/s，到了1亿6千万左右，开始变成
阅读全文
摘要：Python python自然不用多说，拥有的爬虫框架数不胜数。 scrapy，大名鼎鼎的爬虫框架，功能强大，乃入门学习的必备良药。支持多种多样的配置特性，唯一可惜不支持分布式的特性，于是就诞生了scrapy-redis这个以redis为队列的分布式爬虫框架。 pyspider，应该是个华人写的爬虫
阅读全文
摘要：什么是docker Docker 是一个开源项目，诞生于 2013 年初，最初是 dotCloud 公司内部的一个业余项目。它基于 Google 公司推出的 Go 语言实现。 项目后来加入了 Linux 基金会，遵从了 Apache 2.0 协议，项目代码在 GitHub 上进行维护。 Docker
阅读全文
摘要：虽然腾讯的技术积累比较深厚，然而腾讯开源的起步却是十分艰难。因为腾讯由业务和产品驱动的研发模式，使得它在开源之路上走得并不平坦，从业务和产品，到 KPI，再到部门之间的壁垒，这些因素都构成了腾讯开源路上的“拦路虎”。 因此，从内部开源做起的腾讯，在其内部开源社区的定位和运营上，会更多地从工程师的角度
阅读全文
摘要：这篇文章主要介绍了JavaScript高级程序设计（第三版）学习笔记1~5章 的相关资料,需要的朋友可以参考下 第2章，在html中使用JavaScript Html引入外部js脚本 ? 1 <script type="text/javascript" src="test.js">两个</scrip
阅读全文
摘要：最近在负责一个基于nodejs的应用，在很多方面都经历了一个从无到有的过程，测试也是如此。刚开始时，代码都写不好，更别提测试了，那时测试为0。经历过一段时间后，尤其是看到npm上优秀的库的测试覆盖率都在100%时，痛下决心开始学习 nodejs 的测试, 目前这个应用的测试覆盖率在90%+。这就是我
阅读全文
摘要：最近一个项目要用到文档数据库，顺便查了一下 NoSQL 方面的资料。当前几个比较流行的文档数据库引擎有 MongoDB, CouchDB, Couchbase, OrientDB 等，朋友推荐的是 MongoDB 和 RethinkDB，和 MongoDB 类似 RethinkDB 是一个主要用来存
阅读全文
摘要：ubuntu 12.04报错：由于已经达到 MaxReports 限制，没有写入 apport 报告。 2013年10月04日 ⁄ 综合 ⁄ 共 1017字 ⁄ 字号 小 中 大 ⁄ 评论关闭 昨晚开始升级ubuntu10.04到12.04，用的在线升级，今天终于下载软件，安装软件，清理数据库等升级
阅读全文
摘要：首页测试 # -*- coding: utf-8 -*-""" 爬取的相关信息有：电影名次、电影名称、主演、上映时间、评分 """import reimport timeimport requestsfrom multiprocessing import Poolfrom requests.exce
阅读全文
摘要：并在学习Python的小伙伴们，大几千了吧，各种各样的人群都有，特别喜欢看到这种大家一起交流解决难题的氛围，群资料也上传了好多，各种大牛解决小白的问题，这个Python群：330637182 欢迎大家进来一起交流讨论，一起进步，尽早掌握这门Python语言。 任何指定的程序都有能力同时做为客户端和服
阅读全文
摘要：毕竟大数据行业在国内兴起也就这几年，而爬虫工程师也由此从幕后走向台前，不清楚整个大行业的话，其实只能看到很片面的价值。 回忆这几年带团队的过程，还有团队的发展，有些同学片面低估爬虫工程师的价值，也有些同学盲目高看自已。这篇文章就说说我的想法，希望能让大家更了解这一行的一些工作，希望对大家是有所帮助的
阅读全文
摘要：本文介绍了Mac下如何找到AppStore下载的安装包路径，以及如何提取出来供以后使用的相关步骤，希望对大家有所帮助。 通过远在大洋彼岸的苹果服务器下载东西，确实有够慢啊！AppStore更甚：甚至都经常提示连不上服务器，而有些软件呢，还必须从AppStore下载安装，所以没办法，谁让上了苹果的贼船
阅读全文
摘要：前言： 很久之前写了个VM15装10.13的教程，看到还是有朋友需要，我就再写一个教程吧，希望能帮助需要的人（Majorve出来很久了，一直没时间写），本人能力也有限，本来想制作一个ISO的包，不过DMG转换过来有问题，就用了一种取巧的办法，直接在之前虚拟机上安装好的 10.13（跳转安装10.13
阅读全文
摘要：常用术语 过滤器 过滤器：可以将特定要求的数据过滤或排除掉。过滤器是一个账户级别的权限，不可逆，最多需要24小时才会生效。 高级过滤器 高级过滤器：可以将特定要求的数据过滤或排除掉。是一个数据视图级别的权限，可逆，实时生效。 细分 细分：可以将特定的数据剥离出来用于比较，是一个数据视图级别的权限，可
阅读全文
