bobsoft

摘要： mysql -uroot -p --default-character-set=utf8 db<db.sql 阅读全文

摘要： 最近考虑服务器存储问题，故总结！定义： NAS网络附加存储 SAN区域存储网络区别：一、NAS 将存储设备通过标准的网络拓扑结构连接，可以无需服务器直接上网，不依赖操作系统，只要在同一局域网内，就可以访问NAS。其次NAS是真正即插即用的产品，并且物理位置灵活，可放置在工作组内，也可放在其他地点与网络连接. 其实就是可以理解为共享目录（通过IP挂载）,连接到现有的网络上，提供数据和文件服务,NAS是通过与网络直接连接的磁盘阵列，它具备了磁盘阵列的所有主要特征：高容量、高效能、高可靠。二、SAN 不仅可以提供大容量的存储数据，而且地域上可以分散，并缓解了大量数据传输对于局域网的影响。SAN的.. 阅读全文

摘要： 概念: 当多个进程同时访问一个磁盘时，可能会出现磁盘冲突。大多数磁盘系统都对访问次数（每秒的 I/O 操作，IOPS）和数据传输率（每秒传输的数据量，TPS）有限制。当达到这些限制时，后面需要访问磁盘的进程就需要等待，这时就是所谓的磁盘冲突.条带化技术就是一种自动的将 I/O 的负载均衡到多个物理磁盘上的技术，条带化技术就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘上去。这就能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突，而且在需要对这种数据进行顺序访问的时候可以获得最大程度上的 I/O 并行能力，从而获得非常好的性能.影响条带化效果的两个因素 1.条带宽度（strip 阅读全文

摘要： 最近在部署存储设备,也算是对存储这块有一个大概熟悉,故总结.任何一个系统,对存储方面都涉及如下几部分应用系统->虚拟文件系统VFS->文件系统->设备驱动->物理卷.一.应用系统定义:对存储最顶层的操作 如:DB,操作系统命令(复制,删除)二.虚拟文件系统VFS定义:解决不同文件系统之间的中间层 如:FAT向NFS传文件,mount挂载三.文件系统 定义:把上层的文件操作转化成对下层的块操作 如:复制一个文件,有可能是需要映射成对N个块的移动操作,(windows 的NFS,FAT; linux的ext2,ext3,ext4等)四.设备驱动定义:多个物理卷映射成逻辑卷 阅读全文

摘要： 可以将所有的存储都归纳成:直挂式存储，网络附加存储，存储区域网络，ISCSI，gnbd一、直挂式存储（DSA） 服务器的硬盘二、网络附加存储（NAS） 多个主机连接到同一个共享存储，如NFS，SAMBA三、存储区域网络（SAN）FC-SAN：早期的SAN，服务器与交换机的数据传输是通过光纤进行的，服务器把SCSI指令传输到存储设备上，不能走普通LAN网的IP协议。 IP-SAN：后期出现的SAN，用IP协议封装的SAN，可以完全走普通网络，因此叫做IP-SAN四、ISCSI 通过走以太网的TCP/IP网络，使用3260端口的服务五、GFS's Network Block Device 阅读全文

摘要： 第五步:测试(待测试)1./usr/local/mfs/bin/mfsmount -H 192.168.1.35 /var/www/html 将它挂载至WEB家目录2.测试web访问3.能成功访问到分布式文件系统中的内容即可作用： 实现了负载均衡，同时提高可靠性！ 阅读全文

摘要： 最近在考虑图片文件存储与安全问题,决定先部署一下分布式文件系统,采用MFS.定义:将多台存储设备(服务器),统一管理,统一集成,提供一个访问点. 结构:元数据服务器,元数据日志服务器,存储数据库1,存储服务器2...... 部署方法 第一步：安装元数据服务器 # useradd -s /sbin/nologin -d /dev/null mfs # tar xf /share/soft/mfs/mfs-1.6.20-2.tar.gz -C /usr/src/# cd /usr/src/mfs-1.6.20-2/# ./configure --prefix=/usr/local/mfs --wi 阅读全文

摘要： solr查询量增加后，单服务器承受不了搜索压力是，需要多服务来支撑，Solr1.4后自己提供了复制机制ReplicationHandler。ReplicationHandler是个RequestHandler，在solrconfig.xml配置ReplicationHandler即可使用。Master配置 startup commit optimize --> schema.xml,stopwords.txt,elevate.xml 00:00:10 Slave配置 http://master_host:port/corename/replication 00:00:20 in... 阅读全文

摘要： 为完善展示搜索服务离线处理思路，现在编写三个简单的文档以作示范1.html->中华人民共和国2.html->中华人民共和国湖南省3.html->中华人民共和国湖南省株洲市现对1.html 2.html 3.html搜索，思路如下一、网页信息的提取与存储通过抓取1.html 2.html 3.html三个网页内容，用正则提取内容，形成格式化内容文件格式:url_content如:(test.txt)1.html_中华人民共和国2.html_中华人民共和国湖南省3.html_中华人民共和国湖南省株洲市二、清理数据，为建立倒排文件准备Map(key,value)->{key: 阅读全文

摘要： 总原则支持按业务或产品水平拆分支持按功能或规则垂直拆分应用系统层 定义 1.实现各自应用系统的业务逻辑，处理异常，性能，交互问题2.通过 服务代理层 调用服务端服务代理层 定义 1.实现 数据协议 转换 2.透明访问服务端（支持多协议） 3.实现负载均衡（七层） 4.实现安全性检测（对来自应用系统层请求验证）服务实现层 定义 1.提供各自主题数据的API 2.各服务之间无层次之分，相互关联，形成"服务云"数据层 定义 1.DB操作 2.缓存的操作 3.静态资源的操作，如：文件 4.数据的迁移，合并等操作 阅读全文