摘要: 1,定义 kettle是一款开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。需要java环境才能运行。 2,官网下载地址 https://community.hitachivantara.com/s/article/data-int 阅读全文
posted @ 2019-09-01 20:28 New-s 阅读(642) 评论(0) 推荐(0) 编辑
摘要: 错误原因:工作空间被修改 1,修改eclipse安装目录下比如D:\eclipse\configuration\.settings\org.eclipse.ui.ide.prefs, 删除 RECENT_WORKSPACES后的内容重新打开即可 2,进入 Window > Preferences > 阅读全文
posted @ 2019-09-01 14:58 New-s 阅读(1722) 评论(0) 推荐(0) 编辑
摘要: 中国民生银行天眼日志平台架构演进的平凡之路 对于一个简单的日志应用场景,通常会准备 master/slave 两个应用。我们只需运行一个 Shell 脚本,便可查看是否存在错误信息。随着业务复杂度的增加,应用场景也会变得复杂。虽然监控系统能够显示某台机器或者某个应用的错误。然而在实际的生产环境中,由 阅读全文
posted @ 2019-06-14 10:05 New-s 阅读(311) 评论(0) 推荐(0) 编辑
摘要: 微店大数据开发平台架构演进 为什么需要大数据开发平台? 微店在16年4月份之前,数据开发流程基本是这样的: 开发人员通过公共账号登录安装了Hive、Hadoop客户端的gateway机器;编写自己的脚本,调试代码,完成后通过crontab配置脚本定时执行;为了防止脚本被其他同事修改,一些谨慎的同事会 阅读全文
posted @ 2019-06-14 10:04 New-s 阅读(175) 评论(0) 推荐(0) 编辑
摘要: 微博深度学习平台架构和实践 随着人工神经网络算法的成熟、GPU计算能力的提升,深度学习在众多领域都取得了重大突破。本文介绍了微博引入深度学习和搭建深度学习平台的经验,特别是机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务等核心部分的设计、架构经验。微博深度学习平台极大地提升了深度学习 阅读全文
posted @ 2019-06-08 10:04 New-s 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 蘑菇街交易平台 数据库架构演进历程 从数据库最终用户角度看,数据库系统的结构分为单用户结构、主从式结构、分布式结构、客户/服务器、浏览器/应用服务器/数据库服务器多层结构。这是数据库外部体系结构。物理存储结构、逻辑存储结构、内存结构和实例进程结构。这是内部体系结构。 单数据库架构:一个项目在初期的时 阅读全文
posted @ 2019-06-01 10:04 New-s 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 原因是引入外部的文件不存在问题,一般是路径问题,例如引入的图片文件路径不存在。 阅读全文
posted @ 2019-05-27 15:59 New-s 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 饿了么:业务井喷时,订单系统架构这样演进 要实现高并发订单系统架构设计,要解决以下几个方面的问题,分库分表、多应用实例全局唯一订单号、数据库连接、买家查询订单、卖家查询订单、扩容问题和业务拆分。 分库分表:随着订单量的增长,数据库的发展主要经历以下几个步骤: 1主-1从架构;双主-多从架构,读写分离 阅读全文
posted @ 2019-05-25 10:02 New-s 阅读(724) 评论(0) 推荐(0) 编辑
摘要: 1,先从GitHub网页上建立一个数据仓库 2,安装git 下载地址:https://www.git-scm.com/download/win 3,找到本地要上传的项目目录,右键点击Git Bash Here 4,在命令行中,输入“git init”,使文件加入git管理 5,输入:git add 阅读全文
posted @ 2019-05-24 16:51 New-s 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 1.下载客户端github(必须下载,需要该软件所提供的Git shell输入命令来上传项目)下载地址: https://github-windows.s3.amazonaws.com/GitHubSetup.exe 2,点击创建一个新的仓库 输入项目名称,选择性添加描述,该描述会显示在Readem 阅读全文
posted @ 2019-05-24 15:50 New-s 阅读(491) 评论(0) 推荐(0) 编辑