yy

摘要： 并行进程怎么使用？ 怎么确定我们使用的是多进程呢？ 实现批量入库： 测试环境： 2.22服务器，CPU:E54620,Memory:64，磁盘SAS/万转以上。 测试速度：41分钟，处理200个ENB，一共4749个csv文件，一共19.1G，入库记录1 1491 1843条记录，每条记录30个字段 阅读全文

摘要： 由于我系统是x64系统，所以下载python2.7 x64。下载地址：https://www.python.org/downloads/release/python-2712/, 经过测试发现这个版本安装后是自带easy_install、pip、wheel功能的，其他版本或者x86版本中没有改功能。 阅读全文

摘要： 背景： 在最近开发中遇到一个问题，对一个数据库进行操作时，我采用64个并行的任务每个任务保证一个数据库连接对象；但是每个任务内部均包含有24个文件需要读取，在读取文件之后，我们需要快速将这24个文件批量入库到数据库中。 于是我这样开发我的程序： 主任务处理方式：最多允许64并行主任务； 主任务内部子 阅读全文

摘要： 从MSDN上看到实现大容量导入数据时保留标识值得方法包含三种： MSDN链接地址为：https://msdn.microsoft.com/zh-cn/library/ms178129.aspx 感觉MSDN上给的列子都没有数据，有些demo不直接，所以这里我要写例子来实现这三种方式。 下边我们就三种 阅读全文

摘要： 刚安装好的sqlserver2008r2x64，写一些sql时，自动提示功能失效了。 解决排查一： 找到tools->options->Text Editor->Transact-SQL->IntelliSense，看到已经勾选了Enable IntelliSense； 找到tools->optio 阅读全文

摘要： SQLSERVER:通过sys.tables实现批量删表,或者回滚表 动态统计数据库，某表每秒插入记录量 阅读全文

摘要： 背景： 每取到一个文件就读取为一个实体集合到内存中，当一个文件读取完成后，调入库接口；在入库时，先把这个实体集合拆分为主表的datatable对象，三个子表的datatable对象，之后并行入库。 分析： 基于上边的一共包含两个弊端问题： 调整： 分表改进： 把原来的分为一套表（一个主表，三个子表） 阅读全文

摘要： Greenplum技术浅析：http://www.cnblogs.com/end/archive/2012/08/17/2644290.html Greenplum 数据库架构分析：http://www.jpblog.cn/archives/2320 Greenplum性能分析：http://www 阅读全文

摘要： http://www.cnblogs.com/end/archive/2011/10/22/2220940.html 选择排序 冒泡排序 快速排序 插入排序 希尔排序 归并排序 基数排序 计数排序 小根堆排序 阅读全文

摘要： 动态方法调用：通过url动态调用action中的方法。 默认情况下，Struts的动态方法调用处于禁用状态。 测试定义一个action类： 修改配置struts.xml 添加测试页面index.jsp 点击链接后，发现两个方法都可以被调用，尽管我们没有定义save方法为一个action在struts 阅读全文

摘要： 目前先后做了以下调整： 1、单表多个线程写入的时候，总会因为写入log或单文件写入速度的限制，导致IO提到不了成为入库的瓶颈；为了提到入库IO速度，我们采取分表策略，一次性拆分到一个ENB为单元的物理表； 2、修改批量入库方案：从监控IO来看，IO的写入速度确实有提高，但是同时写入多个表过程是单线程 阅读全文

摘要： 分布式mongodb搭建：http://www.cnblogs.com/ityouknow/p/7566682.html 学习博客：http://www.cnblogs.com/liruihuan/tag/MongoDB/,如何配置分布式、分片设置：http://www.cnblogs.com/it 阅读全文

摘要： 客户给出建议方案： sql优化书籍：https://www.simple-talk.com/books/sql-books/troubleshooting-sql-server-a-guide-for-the-accidental-dba/ 带着上边的问题，我认真的查阅了网上对这些技术的一些评价： 阅读全文

摘要： 物理机上测试IO是否为瓶颈： 使用一个死循环insert into测试数据库最大写入速度： 结果发现一个问题，写入数据库iTest.mdf的速度只有几百千字节每秒，而写入iTest_log.ldf的速度也是几百字千节每秒，但是写入日志的速度要要多于数据库文件的速度，约在4倍的速度。他们两个之和才有将 阅读全文

摘要： 背景 最近一段给xx做项目，这边最头疼的事情就是数据库入库瓶颈问题。 环境 服务器环境：虚拟机，分配32CPU，磁盘1.4T，4T,5T，6T几台服务器不等同（转速都是7200r），内存64G。 排查步骤 排查一：数据库恢复模式为简单模式，数据库和tempdb的初始大小。数据库文件初始化大小100G 阅读全文

摘要： 通配符映射：一个Web应用可能有成百上千个action声明，可以使用struts提供的通配符映射机制把多个彼此相似的映射关系简化为一个映射关系。 通配符映射规则： 如果我们需要一个user的添加，修改，删除，查询操作的struts2的实现，一般情况下我们在struts.xml文件中，需要配置acti 阅读全文

摘要： 1 string sourceFilePath = @"E:\文件拷贝\xx\3773\3773.zip"; 2 3 FileInfo fileInfo = new FileInfo(sourceFilePath); 4 long length = fileInfo.Length; 5 6 if (length == 0) 7 { 8 return; 9 } 10 ... 阅读全文

摘要： 本章节将继续学习struts2的返回类型的使用方法。 学习文档下载struts2 full包解压后会在doc下包含离线html文档。 点击运行后页面： 点击Guides向导终将会有向导列表 再点开后，就可以看到struts2支持的所有resultType: 默认的resultType是dispatc 阅读全文

摘要： 我们在上一章节中的一个列子中使用到了一个标识跳转到登录页面的例子： 示例是这样写的: index.jsp： 这里表示要调转到登录login.jsp页面，不过这个跳转是一个action。 在struts.xml中对应注册： 不错，这里就是这么写的。在index.jsp页面中点login page连接确 阅读全文

摘要： 1、什么WEB资源？ HttpServletRequest,HttpServletRespone,HttpApplication,ServletContext,HttpSession等原生ServletAPI。 2、在Struts2中为什么要访问WEB资源？ B/S应用中的Controller必然会 阅读全文