01 2018 档案
摘要：使用Python的PIL模块来进行图片对比在使用google或者baidu搜图的时候会发现有一个图片颜色选项，感觉非常有意思，有人可能会想这肯定是人为的去划分的，呵呵，有这种可能，但是估计人会累死，开个玩笑，当然是通过机器识别的，海量的图片只有机器识别才能做到。那用python能不能实现这种功...
阅读全文
摘要：全面了解python中的类,对象,方法,属性python中一切皆为对象，所谓对象：我自己就是一个对象，我玩的电脑就是对象，坐着的椅子就是对象，家里养的小狗也是一个对象。。。。。。我们通过描述属性（特征）和行为来描述一个对象的。比如家里的小狗，它的颜色，大小，年龄，体重等是它的属性或特征。它会汪...
阅读全文
摘要：全面了解python中的类,对象,方法,属性python中一切皆为对象，所谓对象：我自己就是一个对象，我玩的电脑就是对象，坐着的椅子就是对象，家里养的小狗也是一个对象。。。。。。我们通过描述属性（特征）和行为来描述一个对象的。比如家里的小狗，它的颜色，大小，年龄，体重等是它的属性或特征。它会汪...
阅读全文
摘要：Python中生成器和yield语句的用法详解在开始课程之前，我要求学生们填写一份调查表，这个调查表反映了它们对Python中一些概念的理解情况。一些话题("if/else控制流"或者"定义和使用函数")对于大多数学生是没有问题的。但是有一些话题，大多数学生只有很少，或者完全没有任何接触，尤其...
阅读全文
摘要：Python中生成器和yield语句的用法详解在开始课程之前，我要求学生们填写一份调查表，这个调查表反映了它们对Python中一些概念的理解情况。一些话题("if/else控制流"或者"定义和使用函数")对于大多数学生是没有问题的。但是有一些话题，大多数学生只有很少，或者完全没有任何接触，尤其...
阅读全文
摘要：python中列表元素连接方法join用法实例这篇文章主要介绍了python中列表元素连接方法join用法,实例分析了Python中join方法的使用技巧,非常具有实用价值,分享给大家供大家参考。具体分析如下：创建列表： >>> music =["Abba","Rolling Stone...
阅读全文
摘要：python中列表元素连接方法join用法实例这篇文章主要介绍了python中列表元素连接方法join用法,实例分析了Python中join方法的使用技巧,非常具有实用价值,分享给大家供大家参考。具体分析如下：创建列表： >>> music =["Abba","Rolling Stone...
阅读全文
摘要：Python做简单的字符串匹配详解由于需要在半结构化的文本数据中提取一些特定格式的字段、数据辅助挖掘分析工作，以往都是使用Matlab工具进行结构化数据处理的建模，matlab擅长矩阵处理、结构化数据的计算，Python具有与matlab共同的特点：语法简洁、库丰富，对算法仿真来说都是一门简洁...
阅读全文
摘要：Python做简单的字符串匹配详解由于需要在半结构化的文本数据中提取一些特定格式的字段、数据辅助挖掘分析工作，以往都是使用Matlab工具进行结构化数据处理的建模，matlab擅长矩阵处理、结构化数据的计算，Python具有与matlab共同的特点：语法简洁、库丰富，对算法仿真来说都是一门简洁...
阅读全文
摘要：DT时代，如何成为十字复合型数据分析师当前社会正从IT到DT智能时代，传统行业嫁接互联网，产生的是加法效应；大数据创新驱动，产生的是乘法效应，价值呈指数递增。DT时代拼的是人才和创新价值的能力，拼的是你的数据能够给社会创造多少价值，用数据挣钱才是未来真正所在。相应的，DT时代对人才的要求也越来...
阅读全文
摘要：大数据时代机不可失要及时出手如今，大数据浪潮正在激荡，大数据已经成为这个时代的主角，也是统治这个时代的王者。大数据不仅是一种海量的数据状态及其相应的数据处理技术，更是一种思维方式，一项重要的基础设施。这或是治理交通拥堵、雾霾天气、看病难、食品安全等‘城市病’的利器，也会为政府打开了解社情民意的...
阅读全文
摘要：存储之于大数据分析目前市场上有两种类型的大数据分析方式--同步的和异步的，两种都有各自在存储容量和特性上的要求。 近来大数据分析这个词正逐渐成为IT界流行的一个术语，以代指有关大数据本身的猜想，通俗说来即成堆数据背后问题的答案。然而，如果我们能够从足够的数据点入手比对及交叉分析，或许能帮...
阅读全文
摘要：存储之于大数据分析目前市场上有两种类型的大数据分析方式--同步的和异步的，两种都有各自在存储容量和特性上的要求。 近来大数据分析这个词正逐渐成为IT界流行的一个术语，以代指有关大数据本身的猜想，通俗说来即成堆数据背后问题的答案。然而，如果我们能够从足够的数据点入手比对及交叉分析，或许能帮...
阅读全文
摘要：大数据意味着大风险大数据不仅仅只是大量的数据 从某种意义上说，当一家企业开始收集和存储大量的数据信息时，其就已然成为了一个相当显眼的黑客攻击目标。但更广泛地说，对那些收集了大量有价值的非结构化数据信息的企业而言，其数据信息可能并不存在任何根本性的新威胁。 罗伯特·麦加维引用Brainl...
阅读全文
摘要：大数据意味着大风险大数据不仅仅只是大量的数据 从某种意义上说，当一家企业开始收集和存储大量的数据信息时，其就已然成为了一个相当显眼的黑客攻击目标。但更广泛地说，对那些收集了大量有价值的非结构化数据信息的企业而言，其数据信息可能并不存在任何根本性的新威胁。 罗伯特·麦加维引用Brainl...
阅读全文
摘要：数据中心技术的五个重要趋势技术总在不断发展，所以我们总有新东西可以学习，对于数据中心技术也是一样。 当然，这也有不好的一面：虽然学习新东西对我们很有帮助，但是很多时候，我们需要学习的东西太多了。这也在某种程度导致我们要从各个方面不断的完善自己，否则就会感觉自己落伍了。大型企业中就发生过类似...
阅读全文
摘要：数据中心技术的五个重要趋势技术总在不断发展，所以我们总有新东西可以学习，对于数据中心技术也是一样。 当然，这也有不好的一面：虽然学习新东西对我们很有帮助，但是很多时候，我们需要学习的东西太多了。这也在某种程度导致我们要从各个方面不断的完善自己，否则就会感觉自己落伍了。大型企业中就发生过类似...
阅读全文
摘要：脱离互联网与云计算去讲数据是个大误区做大数据以前，对企业的影响可能还要追溯到互联网对企业的影响。要讲清，让大家理解大数据对企业的理解，有三件事情可能少不了： 一个就是互联网。互联网很热门的词就是云计算，就是大数据。原因非常简单，互联网公司一定是一家数据公司。阿里巴巴在2008年的时候开过一...
阅读全文
摘要：脱离互联网与云计算去讲数据是个大误区做大数据以前，对企业的影响可能还要追溯到互联网对企业的影响。要讲清，让大家理解大数据对企业的理解，有三件事情可能少不了： 一个就是互联网。互联网很热门的词就是云计算，就是大数据。原因非常简单，互联网公司一定是一家数据公司。阿里巴巴在2008年的时候开过一...
阅读全文
摘要：R语言利用ROCR评测模型的预测能力说明受试者工作特征曲线(ROC），这是一种常用的二元分类系统性能展示图形，在曲线上分别标注了不同切点的真正率与假正率。我们通常会基于ROC曲线计算处于曲线下方的面积AUC(areaunder curve),并以此峰面积来衡量相应分类模型的性能。操作继续使用t...
阅读全文
摘要：R语言利用ROCR评测模型的预测能力说明受试者工作特征曲线(ROC），这是一种常用的二元分类系统性能展示图形，在曲线上分别标注了不同切点的真正率与假正率。我们通常会基于ROC曲线计算处于曲线下方的面积AUC(areaunder curve),并以此峰面积来衡量相应分类模型的性能。操作继续使用t...
阅读全文
摘要：大数据给IT企业带来攫金市场新机遇大数据，一个时髦的名词，也是当下热门的业务领域。大数据诱人的利益诉求点之一，即通过大数据能更好地提高效率，更好地有的放矢。一方面，大数据让公司内部更有效地运作；另一方面，大数据让公司更好地了解客户、了解市场。大数据的蓝图显示，大数据弱化甚至消弭了经济运行中的信...
阅读全文
摘要：大数据给IT企业带来攫金市场新机遇大数据，一个时髦的名词，也是当下热门的业务领域。大数据诱人的利益诉求点之一，即通过大数据能更好地提高效率，更好地有的放矢。一方面，大数据让公司内部更有效地运作；另一方面，大数据让公司更好地了解客户、了解市场。大数据的蓝图显示，大数据弱化甚至消弭了经济运行中的信...
阅读全文
摘要：面对大数据过分渲染宣传，你需要了解的9件事大数据和开放数据不是一回事，但他们有着密切的联系（正如我在主题发言稿“未来的大数据将会开放到什么程度？”上写到的）。我们正在关注的大数据一些趋势和话题与开放数据也有关系。按照这样的脉络，就出炉了这篇我在去哥伦布的路上学到的《了解大数据的九件事》。在研讨...
阅读全文
摘要：面对大数据过分渲染宣传，你需要了解的9件事大数据和开放数据不是一回事，但他们有着密切的联系（正如我在主题发言稿“未来的大数据将会开放到什么程度？”上写到的）。我们正在关注的大数据一些趋势和话题与开放数据也有关系。按照这样的脉络，就出炉了这篇我在去哥伦布的路上学到的《了解大数据的九件事》。在研讨...
阅读全文
摘要：大数据要充分利用 但更要保护用户隐私全球进入移动互联网时代后，一个巨大进步是一切活动都在往移动互联网这个舞台上转移。所有社会活动、金融交易等都在网络上留下了痕迹或者说有迹可循。由此带来的进步是革命性、历史性和颠覆性的。通过对人们在网络上留下的印记进行采集、挖掘、提炼与分析，可以分析出背后许多经...
阅读全文
摘要：大数据要充分利用 但更要保护用户隐私全球进入移动互联网时代后，一个巨大进步是一切活动都在往移动互联网这个舞台上转移。所有社会活动、金融交易等都在网络上留下了痕迹或者说有迹可循。由此带来的进步是革命性、历史性和颠覆性的。通过对人们在网络上留下的印记进行采集、挖掘、提炼与分析，可以分析出背后许多经...
阅读全文
摘要：制造业如何利用大数据如果你正在进行大数据项目，那么有四个因素需要牢记。 1.数据不能脱离实际环境 首先需要说明的是，脱离实际环境的数据的作用将会大打折扣。在生产制造领域，所谓的实际环境可以用工作任务或者执行步骤来提供。每一段数据必须与正在执行的任务或者正在生产的产品本身相关联，并且与任...
阅读全文
摘要：制造业如何利用大数据如果你正在进行大数据项目，那么有四个因素需要牢记。 1.数据不能脱离实际环境 首先需要说明的是，脱离实际环境的数据的作用将会大打折扣。在生产制造领域，所谓的实际环境可以用工作任务或者执行步骤来提供。每一段数据必须与正在执行的任务或者正在生产的产品本身相关联，并且与任...
阅读全文
摘要：Python中的浮点数原理与运算分析本文实例讲述了Python中的浮点数原理与运算。分享给大家供大家参考，具体如下：先看一个违反直觉的例子： >>> s = 0.>>> for i inrange(10): s = .1>>> s0.9999999999999999# 错误被累加再看一个更...
阅读全文
摘要：Python中的浮点数原理与运算分析本文实例讲述了Python中的浮点数原理与运算。分享给大家供大家参考，具体如下：先看一个违反直觉的例子： >>> s = 0.>>> for i inrange(10): s = .1>>> s0.9999999999999999# 错误被累加再看一个更...
阅读全文
摘要：我们怎样确保从大数据计算中获得价值支持大数据方案并不是在硬件以及软件层次终止，企业要想真正地从大数据中受益，领导者必须改变思考与对待信息的方式。 我们怎样确保从大数据计算中获得价值？当所有可用数据都可用时，大数据分析给出了最佳结果。企业领导者通常存放他们认为重要的数据--一般叫做“数据囤积...
阅读全文
摘要：我们怎样确保从大数据计算中获得价值支持大数据方案并不是在硬件以及软件层次终止，企业要想真正地从大数据中受益，领导者必须改变思考与对待信息的方式。 我们怎样确保从大数据计算中获得价值？当所有可用数据都可用时，大数据分析给出了最佳结果。企业领导者通常存放他们认为重要的数据--一般叫做“数据囤积...
阅读全文
摘要：大数据恐惧症大数据是人类文明的又一个破坏性发明 现在小崔和方舟子还在争辩，转基因是世界人口爆炸的福音还是对人身体的伤害？这个辩论，时间会给出答案，但是大数据更是一个值得大家争辩的事情，因为大数据涉及了我们的生活习惯和社会法则。大数据带来的副作用，大大超过了以前人类发明的范畴。 商业的大...
阅读全文
摘要：大数据恐惧症大数据是人类文明的又一个破坏性发明 现在小崔和方舟子还在争辩，转基因是世界人口爆炸的福音还是对人身体的伤害？这个辩论，时间会给出答案，但是大数据更是一个值得大家争辩的事情，因为大数据涉及了我们的生活习惯和社会法则。大数据带来的副作用，大大超过了以前人类发明的范畴。 商业的大...
阅读全文
摘要：一文读懂聚类算法1. 聚类的基本概念1.1 定义聚类是数据挖掘中的概念，就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。1.2 ...
阅读全文
摘要：一文读懂聚类算法1. 聚类的基本概念1.1 定义聚类是数据挖掘中的概念，就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。1.2 ...
阅读全文
摘要：用Python实现一个大数据搜索引擎搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。布隆过滤器 （Bloom Filter）第一步我们先要实现一个布隆过滤...
阅读全文
摘要：用Python实现一个大数据搜索引擎搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。布隆过滤器 （Bloom Filter）第一步我们先要实现一个布隆过滤...
阅读全文
摘要：未来物联网、人工智能无法迈过的技术是什么未来50年，互联网、物联网、人工智能都无法迈过的技术是什么？ 大数据应用！一、什么是大数据？大数据是指以服务重大决策为目的，需要新型数据处理方法才能对其内容进行采集、存储、管理和分析的一种海量、高增长率和多样化的信息资本。大数据的战略意义不在于拥有一堆庞...
阅读全文
摘要：未来物联网、人工智能无法迈过的技术是什么未来50年，互联网、物联网、人工智能都无法迈过的技术是什么？ 大数据应用！一、什么是大数据？大数据是指以服务重大决策为目的，需要新型数据处理方法才能对其内容进行采集、存储、管理和分析的一种海量、高增长率和多样化的信息资本。大数据的战略意义不在于拥有一堆庞...
阅读全文
摘要：spss-数据清洗-处理重复数据数据导入之后就需要对数据进行清洗。数据清洗主要是对多余重复的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或者删除。接下来操作如何将重复数据处理操作。步骤一：选择【数据】-【标记重复个案】，在【标记重复个案】对话框中，将所有的变量都放入【定义匹配个案的依据...
阅读全文
摘要：spss-数据清洗-处理重复数据数据导入之后就需要对数据进行清洗。数据清洗主要是对多余重复的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或者删除。接下来操作如何将重复数据处理操作。步骤一：选择【数据】-【标记重复个案】，在【标记重复个案】对话框中，将所有的变量都放入【定义匹配个案的依据...
阅读全文
摘要：大数据时代数据管理方式研究1数据管理技术的回顾 数据管理技术主要经历了人工管理阶段、文件系统阶段和数据库系统阶段。随着数据应用领域的不断扩展，数据管理所处的环境也越来越复杂，目前广泛流行的数据库技术开始暴露出许多弱点，面临着许多新的挑战。 1.1人工管理阶段 20 世纪 50年...
阅读全文
摘要：大数据时代数据管理方式研究1数据管理技术的回顾 数据管理技术主要经历了人工管理阶段、文件系统阶段和数据库系统阶段。随着数据应用领域的不断扩展，数据管理所处的环境也越来越复杂，目前广泛流行的数据库技术开始暴露出许多弱点，面临着许多新的挑战。 1.1人工管理阶段 20 世纪 50年...
阅读全文
摘要：Excel表格文本格式的数字和数字格式如何批量转换在使用Excel表格对数据求和时，只能对单元格内常规格式的数据进行计算，而不能对单元格中的文本格式的数据进行计算，特点就是在单元格的左上角有一个绿色的小三角，（如图：）（上边1234是常规格式数据、6789就是文本格式数据、下边的1234是数据...
阅读全文
摘要：Excel表格文本格式的数字和数字格式如何批量转换在使用Excel表格对数据求和时，只能对单元格内常规格式的数据进行计算，而不能对单元格中的文本格式的数据进行计算，特点就是在单元格的左上角有一个绿色的小三角，（如图：）（上边1234是常规格式数据、6789就是文本格式数据、下边的1234是数据...
阅读全文
摘要：SPSS转换菜单：创建时间序列1、概念：“创建时间序列”对话框允许您基于现有数值型时间序列变量的函数创建新的变量。这些转换后的值在时间序列分析中非常有用。2、操作：转换-创建时间序列3、说明：时间序列转换函数如下：◎差分。序列中相邻值之间的非季节性差异。阶数为用于计算差分的以前值个数。由于每阶...
阅读全文
摘要：SPSS转换菜单：创建时间序列1、概念：“创建时间序列”对话框允许您基于现有数值型时间序列变量的函数创建新的变量。这些转换后的值在时间序列分析中非常有用。2、操作：转换-创建时间序列3、说明：时间序列转换函数如下：◎差分。序列中相邻值之间的非季节性差异。阶数为用于计算差分的以前值个数。由于每阶...
阅读全文
摘要：克服大数据集群的挑战数据存储曾经是大数据的最大挑战。由于云计算基础设施的进步，存储数据不再是关键问题。如今，数据科学家所面临的最大问题是数据收集。集群化使得大数据分析更容易。然而，集群也给数据工程师带来了必须解决的问题。什么是数据集群?数据集群的概念可追溯到至少20年前。美国俄亥俄州立大学计算...
阅读全文
摘要：克服大数据集群的挑战数据存储曾经是大数据的最大挑战。由于云计算基础设施的进步，存储数据不再是关键问题。如今，数据科学家所面临的最大问题是数据收集。集群化使得大数据分析更容易。然而，集群也给数据工程师带来了必须解决的问题。什么是数据集群?数据集群的概念可追溯到至少20年前。美国俄亥俄州立大学计算...
阅读全文
摘要：数据分析行业薪资的秘密，你想知道的都在这里(二)接上篇：数据分析行业薪资的秘密，你想知道的都在这里(1)第二部分：职位信息清洗及数据提取数据分析师的收入怎么样?哪些因素对于数据分析的薪资影响最大?哪些行业对数据分析人才的需求量最高?我想跳槽，应该选择大公司大平台还是初创的小公司?按我目前的教育...
阅读全文
摘要：数据分析行业薪资的秘密，你想知道的都在这里(二)接上篇：数据分析行业薪资的秘密，你想知道的都在这里(1)第二部分：职位信息清洗及数据提取数据分析师的收入怎么样?哪些因素对于数据分析的薪资影响最大?哪些行业对数据分析人才的需求量最高?我想跳槽，应该选择大公司大平台还是初创的小公司?按我目前的教育...
阅读全文
摘要：当物体碰上大数据大数据的技术包括的内容很多，机器学习、自然语言处理、数学建模、数据可视化等等，这些技术都可以帮助数据信息成为物体的支撑。如果数据越来多，数据处理越来越快、数据的利用效果越来越好，那么大数据技术就可以帮助物体更加的智能化，也是为商品的智能化提供了巨大的支持，这就是大数据对物体的最...
阅读全文
摘要：当物体碰上大数据大数据的技术包括的内容很多，机器学习、自然语言处理、数学建模、数据可视化等等，这些技术都可以帮助数据信息成为物体的支撑。如果数据越来多，数据处理越来越快、数据的利用效果越来越好，那么大数据技术就可以帮助物体更加的智能化，也是为商品的智能化提供了巨大的支持，这就是大数据对物体的最...
阅读全文
摘要：大数据学习之BigData常用算法和数据结构1.Bloom Filter 由一个很长的二进制向量和一系列hash函数组成 优点：可以减少IO操作，省空间 缺点：不支持删除，有误判 如果要支持删除操作：改成计数布隆过滤器2.SkipList（跳表） 核心思路：由多层组成，...
阅读全文
摘要：大数据学习之BigData常用算法和数据结构1.Bloom Filter 由一个很长的二进制向量和一系列hash函数组成 优点：可以减少IO操作，省空间 缺点：不支持删除，有误判 如果要支持删除操作：改成计数布隆过滤器2.SkipList（跳表） 核心思路：由多层组成，...
阅读全文
摘要：ADO方式，VC调用Execute执行INSERT INTO插入变量SQL语句的写法有些情况下，SQL SERVER 2008r2中需要保存float，int类型的数据，当C中的变量为double类型时，先格式化为Cstring格式，再组合成SQL语句。对应的C 插入语句写法如下：[cpp] ...
阅读全文
摘要：ADO方式，VC调用Execute执行INSERT INTO插入变量SQL语句的写法有些情况下，SQL SERVER 2008r2中需要保存float，int类型的数据，当C中的变量为double类型时，先格式化为Cstring格式，再组合成SQL语句。对应的C 插入语句写法如下：[cpp] ...
阅读全文
