摘要：今天无意间看到了一个flickr的社交网站http://www.flickr.com/，它是一家提供免费及付费数位照片储存、分享方案之线上服务，也提供网络社群服务的平台。我是想说，在去年的这个时候我们也曾接到过这样的一个需求分析，以为摄影爱好者的请求：他说他每天都在为自己成百上千的存储硬件担忧————怕丢、怕坏。并且还很难第一时间找到自己某个时间某个地点照的相片。他的想法就是像我们帮他做一个能够提供大容量方便快速存储，快速查找相片的网站。以他的想法叫一个图片银行的网站只是针对那些个摄影爱好者所做的。我记得当时好像云计算啊云存储啊都不是很热，我们经过考察发现其实和这位爱好者又相同想法的人不在少数
阅读全文
摘要：#region##得到真实IP以及所在地详细信息///<summary>///得到真实IP以及所在地详细信息（Porschev）///</summary>///<returns></returns>publicstringGetIpDetails(){stringurl="http://www.ip138.com/ips8.asp";//设置获取IP地址和国家源码的网址stringregStr="(?<=<td\\s*align=\\\"center\\\">)[^<]*?
阅读全文
摘要：1、提示 “服务器提供的指定凭据无效”这是因为你输入的账户名和密码不对这里要输入你电脑开机登录时的用户名和密码，这个可在“控制面板”的“用户”中查看2、提示错误 5120查看http://hi.baidu.com/mishengqiang/blog/item/f3a027f982370443252df28c.html这篇文章解决这个错误是因为没有操作权限，所以附加的时候出错，只要设置这个文件或文件夹安全属性即可，但要注意一定要把数据库文件和日志文件的安全属性都要更改，不然还是会出错的。 解决办法：1.打开该数据库文件存放的目录找到数据库文件右击打开属性窗口，选择“安全”选项卡－>选择“编
阅读全文
摘要：有志于在泰泽上大展拳脚的同学们一点要收藏一下关于HTML5的一些好教材好文章了， 这里为大家转载了一篇， 方便大家记录今天我们介绍相关HTML5的参考手册，演讲稿，电子书和教程。HTML5是新兴的web技术，虽然不是完全的新技术但是已经有很多的相关文章介绍HTML5，特别是当我们谈论HTML5将成为Flash的替代品。现代浏览器的快速开发已经刺激用户相应发展。毫无质疑，现在是学习HTML5的好时间，大多数的公司例如Google，Youtube，Facebook都已经开始使用HTML5来建站了。51CTO推荐专题：HTML 5 下一代Web开发标准详解这篇文章我们将介绍最好的HTML5参考手册，
阅读全文
摘要：set，enum的数据类型都是字符串类型的对象，其中set最多可以包含64个元素，并且可以任意取到集合中的元素。而enum则是只能取到集合中的木一个元素，最多包含65536个元素，也就是说set是多项选择，enum是单项选择了。这里我们来比较下他们之间相同点和不同点：mysql> create table db_set( -> set1 set('x','y','z') not null, -> enum1 enum('one','two','three') not null);Q
阅读全文
摘要：今儿加入了一个新的项目组，用到了好久没有用的IntelliJ IDEA工具，让我纠结了一小下：我的C盘本来就小可是打开项目了以后，我的C盘资源疯狂的下降。之前遇到过，可是为了写项目就没有注意，只是一味的删文件。今儿下定决心找到它的缓存路径，终于通过上网找资料。查到了http://loading51.blog.51cto.com/2615065/663443 这是作者的博客。大家可以参考下……当我在D：\ 安装完IDEA9.0之后,建立了一个工程,发现C:\Users\Administrator\.IntelliJIdea90 竟然增大到了500+M，并且随着使用在逐渐增大，这样占用系统盘资源是
阅读全文
摘要：数字钟24小时内时分秒针重合的次数代码#include <stdio.h>#include <stdlib.h>void main(){ for(int h=1;h<12;h++) for(int n=0;n<5;n++) { if(5*h+n<12*(n+1)) { int m=5*h+n; printf("%d:%d:%d\n",h,m,m); break; } }}结果加上00:00:00和12:00:00一共重合12*2=24次说明：时针在一个小时内跳动5次，同时分针在比如说1点到两点之间只有在1：05--1:10的时候才有
阅读全文
摘要：今儿上课的时候老师讲到一个mysql的分析工具，我才恍然大悟记起上次去新浪笔试的一道题大概的意思好像就是说：抓出服务器中最耗费时间的sql语句。当时就蒙了根本不懂这些。MySQL Slow Log 分析工具 mysqldumpslow - mysql官方提供的慢查询日志分析工具mysqlsla - hackmysql.com推出的一款日志分析工具，功能 非常强大mysql-explain-slow-log–德国工程师使用Perl开发的把Slow Log 输出到屏幕，功能简单 mysql-log-filter - Google code 上一个开源产品，报表简洁myprofi- 纯PHP开发的开
阅读全文
摘要：在写这个模块之前，已经用过hadoop集群完成了一些小测试，但是还希望了解下更深层的东西，我想大家一定对namenode,datanode,secondary namenode,jobtracker,he tasktracker有了一定的了解，我想对我我来说也只是单纯的知道，但不上深入，今天想总结下这几个构造模块在hadoop的具体用法和意义。hadoop的守护进程包括：namenode 名字节点；datanode 数据节点；secondary namenode 次名字节点；jobtracker 作业跟踪节点；tasktracker 任务跟踪节点；1.namenode：无可厚非的是：name.
阅读全文
摘要：代理服务器是使用非常普遍的一种将局域网主机联入互联网的一种方式，使用代理上网可以节约紧缺的IP地址资源，而且可以阻断外部主机对内部主机的访问，使内部网主机免受外部网主机的攻击。但是，如果想让互联网上的主机访问内部网的主机资源（例如：Web站点），又想使内部网主机免受外部网主机攻击，一般的代理服务是不能实现的，需要使用反向代理来实现。什么是反向代理？其实，反向代理也就是通常所说的WEB服务器加速，它是一种通过在繁忙的WEB服务器和Internet之间增加一个高速的WEB缓冲服务器（即：WEB反向代理服务器）来降低实际的WEB服务器的负载。Web服务器加速（反向代理）是针对Web服务器提供加速功能
阅读全文
摘要：代理服务器的理解很抽象，下面是百度百科给出的官方解释：在一般情况下，我们使用网络浏览器直接去连接其他Internet站点取得网络信息时，是直接联系到目的站点服务器，然后由目的站点服务器把信息传送回来。代理服务器是介于客户端和Web服务器之间的另一台服务器，有了它之后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。代理服务器的作用在网址框中输入您要访问的网站地址，点击代理浏览便会打开新的窗口链接代理服务器，等待几秒即可，如果此时出现无法链接服务器等错，请在上面尝试选择其它的服务器，因为代理服务器对资
阅读全文
摘要：（注：这是在我自己的服务器上安装的一个模板操作的过程，仅是为了自己以后参考，可能对他人并无参考价值）1、安装apache服务器2、将原来备份的网站模板拷贝过来3、将原来的数据库下的数据拷贝到新的数据库目录下（覆盖）4、打开网站模板下的config文件夹里的dt-config.php文件，修改一下内容5、进入网站管理的后台，在后台的右上角点击:构建网站-->数据库管理-->数据库恢复-->在相应的备份后面点击“导入”注意：最好经常备份数据库，这样可以在网站受到攻击 崩溃的时候恢复网站//数据库配置字段define('DB_HOSTNAME','local
阅读全文
摘要：日志文件可以记录一个事件的何时、何地、何人、何事四大信息,故系统出现任何问题务必查询日志文件。系统的日志文件默认都是集中放置到/var/log/目录内，其中又以messages记录的信息最多。日志文件记录的主要服务与程序为syslogd，klogd，logsyslogd的配置文件在/etc/rsyslog.conf中，内容语法为：服务，等级纪录设备文件logratoate的配置文件在/etc/logrotate.conf,额外的设置则可写入/etc/logrotate.d/*子目录中。有时候这里需要我们自己写shell脚本来进行系统检测，从而得到我们想要的系统状态。
阅读全文
摘要：这几天，忙着做一些测试。昨天刚刚做了一个hive的小测试，但是hive中的正则表达式写法让我痛苦不已，这里记录下问题和一些想法。背景：前几天拿来apache日志，用hive的正则进行匹配，发现匹配出来的字段算是NULL，但是我用RegexBuddy工具显示能够匹配的到啊！例子如下(我拿正常的apache日志来比较，我的apache日志格式被更改过)1、apache日志格式：127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 2、正则表达式：([^ ]*)
阅读全文
摘要：最近两天被服务器上的apache搞得比较郁闷，每次开启apache之后其后台进程httpd.exe总是占用100%，而且服务器本身能够远程桌面连接（说明网络连接正常），但是却无法上Internet网（可以使用IP上网，不能使用域名，即DNS出现问题），联系了服务器托管商的IDC也没能帮我们解决，只好自己动手，丰衣足食了。 开始以为是端口问题，在apache打开时，在cmd下使用netstat -ano命令查看80是否被其他程序占用，但是根据PID显示在（如下：1364）的却是httpd.exe这个apache的后台线程占用着80端口。在将apache关闭之后再使用socket tool这个工.
阅读全文
摘要：首先，看到标题，我想就会有人喷我，①11G对于hadoop而言不值一提②做耗时测试本没有必要，毕竟hadoop用于线下系统。我的想法：没那么复杂，只是想看下hadoop的文件处理能力和表现出的问题，只是单纯的享受这个解决问题并且得到结果的快感。不那么多废话啦!直接进入正题：1、数据来源：apache的日志，接近900万条数据，大小为11个G。2、创建表，并用正则匹配的方式导入数据，(这里hive的正则和普通正则，路由不同，之后会发新的博客讨论这个问题：(hive的正则)http://blog.csdn.net/lengzijian/article/details/7048575)：这里正则值提
阅读全文
摘要：上次安装hive时遇到很多问题，最后遗留下一个没有解决的问题，最后通过询问得以解决在这记录下：方便遇到同样问题的人：问题阐述在安装完hive后，执行：[root@localhost hive]# hive
Hive history file=/tmp/root/hive_job_log_root_201112071228_90457717.txt
hive> 创建表：hive> CREATE TABLE test ( time string, ip string, url string); OK
Time taken: 0.303 seconds删除表报错：NestedThrowa
阅读全文
摘要：在我的板子上ping路由上的IP的时候可以ping通，但是ping外网的IP的时候提示“ping: sendto: Network is unreachable”后来使用route命令看了一下# routeKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface192.168.1.0 * 255.255.255.0 U 0 0 0 rausb0发现网关（Gateway），是空着的没有设置，于是执行一下命令设置了网关：# route add default gw 192.168.1.1# ro...
阅读全文
摘要：在使用iwconfig命令的时候提示的一个警告：# iwconfiglo no wireless extensions.eth0 no wireless extensions.Warning: Driver for device rausb0 has been compiled with version 22of Wireless Extension, while this program supports up to version 20.Some things may be broken...rausb0 RT73 WLAN ESSID:"A12_411" Nickna
阅读全文
摘要：单拿标题来讲，看来有点装x，但是没有恶意，知识记录自己的学习过程，希望能碰到一些志同道合的人，一起讨论。首先，我们要理解：什么是hadoop？给人的第一感觉就一个字“云”，似乎带着点神奇的色彩，不可否认hadoop有他独特的地方，但也没那么神乎其神。他是一个开源框架，可以编写和运行分布式应用处理大规模数据，通过建立hadoop集群和运行一些mapred例子，我所感到只有就个字：“方便”、“健壮”、“可扩展”、“简单”。hadoop自身带有文件系统，可以处理大规模数据，相比较下：会和sql数据库有什么区别呢？1.随着数据量的增大，提高数据库配置的开销越来越大，2倍于pc机的服务器的价格远远高于2
阅读全文
摘要：<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
<?php
/*
php ftp类主要功能：
1.连接ftp并登陆；
2.创建目录和删除目录；
3.上传文件和删除文件；
*/ include 'config.php'; class Net_FTP {
var $ftp_server;
var $ftp_user;
var $ftp_pass;
var $ftp_port;
var $conn_id;
function Net_F
阅读全文
摘要：import ftplib
import os
import socket HOST='192.168.30.109'
FILE='test' def main(): try: f=ftplib.FTP(HOST) except (socket.error,socket.gaierror),e: print 'ERROR:cannot reach "%s"'% HOST return print '***connected to host "%s"' % HOST try: f.log...
阅读全文
摘要：#coding=gbk
'''
socket 给百度发送http请求 连接成功后，发送http的get请求，所搜索功能 '''
import socket
import sys
import time
if __name__=='__main__': #创建套接字 try : sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) except socket.eorror,e: print 'socket false:%s'%e print 'soc
阅读全文
摘要：代码均已测试：希望高人能指点一二服务端： #coding=gbk
'''
等待连接
等待发送文件
读取数据
写入文件并且保存
等待连接
'''
import socket
import threading
import time
import struct
def function(newsock, address): FILEINFO_SIZE = struct.calcsize('128sI') '''定义文件信息（包含文件名和文件大小）大小。128s代表128个char[]（文件名），I代表一个int
阅读全文
摘要：一篇毫无技术含量的pig安装，大家在安装pig前，想必已经安装好了hadoop，这里就不在强调java的版本和JAVA_HOME的配置问题了1.下载pig包：(我的网盘里面pig-0.9.1)http://115.com/file/dneclpetapache版本：http://pig.apache.org/2.解压文件：# tar -zxvf pig-0.9.1.tar.gz3.配置/etc/profitexport PIG_INSTALL=/usr/pig/pig-0.9.1
export PATH=$PATH:$PIG_INSTALL/bin
export PIG_HADOOP_VERS
阅读全文
摘要：刚刚安装好hadoop迫不及待要玩下hive，所以自己找了些资料，安装了下hive，这里记录详细的安装过程和碰到的问题：1.在安装hadoop之前首先确定hadoop已经安装成功，具体安装方法请参考hadoop安装。2.下载hive版本 我下载的是 下载地址为http://hive.apache.org/releases.htm解压文件：tar -zxvf hive-0.7.0-bin.tar.gz3.配置环境变量：[root@localhost hive]# vim /etc/profileexport HADOOP_HOME=/root/hadoop-0.20.2export PATH=$
阅读全文
摘要：安装hadoop常见错误整理：（这里会不断地添加，也希望大家多提一些错误一起解决）1.Hadoop初始化错误INFO org.apache.hadoop.ipc.Client: Retryingconnect to server: uec-fe/16.157.63.10:9000. Already tried 0 time(s). 这种情况对数出现在启动namenode时成功，但是运行job时就会一直连接。 通过查看TaskTracker日志可以看到不停地Retryingconnect,但是一直连不上，有如下解决办法： A:在启动hadoop前没有格式化namenode，需要再每次启动前格式化
阅读全文
摘要：首先说一下配置环境：三台电脑192.168.30.149 hadoop149 namenode和jobtracker ###因为149机器稍微好一点
192.168.30.150 hadoop150 datanode和TaskTracker
192.168.30.148 hadoop150 datanode和TaskTracker配置ssh无需密码登陆：$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys我的master在149可以吧149
阅读全文
摘要：刚刚学习hadoop，安装有点吃力，希望通过记录过程能够给遇到同样问题的人一个答案。话不多说直接进入主题。在公司拿来了三台电脑首先安装linux系统，这里不多说细节，唯一注意的ip设置好就可以了。下面介绍我建起hadoop集群的过程(非常详细因为是菜鸟，高手就不用看了)：1.配置ip：可以写文件，也可以用界面方式安装，这里我用的是setup命令（因为方便），运行setup出现如下界面：进入Networkconfiguration（可用Tab键切换到run Tool）：配置eth0网卡(到Use DHCP时按‘空格’即可编写ip地址)：配置完成后退出；执行[root@localhost~]# /
阅读全文
摘要：收着用了：apt-cache search package 搜索包apt-cache show package 获取包的相关信息，如说明、大小、版本等sudo apt-get install package 安装包sudo apt-get install package - - reinstall 重新安装包sudo apt-get -f install 强制安装sudo apt-get remove package 删除包sudo apt-get remove package - - purge 删除包，包括删除配置文件等sudo apt-get autoremove 自动删除不需要的包su
阅读全文
摘要：ToolTip信息提示框的作用就不用说了吧，我也没去细研究，只是学习了一下怎么去用，简单记录一下：C#中提供了信息提示框，这有很多用处，可以提示控件或者用户自定义的属性信息，而且可以自动弹出或者用户指定弹出，也可以动画效果弹出。使用方法：①鼠标移动到控件或指定的位置自动显示：ToolTip.SetToolTip 方法 ，注意相关参数的设置。②动画效果：参数：AutoPopDelay InitialDelay ReshowDelay例如：?// Create the ToolTip and associate with the Form container.ToolTip toolTip1 =n
阅读全文
摘要：在使用linux以后，发现想要查找某个文件非常的困难（当然了是对于我们这些刚入门的菜鸟来说,还不知道各个文件的用途）。这时查找并且定位对于我们来说就至关重要了，首先说下下面几种定位的命令：find、whereis、which、locate。当然了find不是很常用，因为他的速度是很慢的，推荐使用whereis和locate1.find: 直接读取硬盘，所以速度比较慢。1）find 时间参数-atime（最新的读取时间）、-ctime（状态改变时间）、-mtime（内容数据的变更），n是n天之前的“一天内”，-n是n天之内的包含这一天，+n是指n天之前的不包含这一天。ex> find /v
阅读全文
摘要：今天在编写一个最简单的hello驱动，在make的时候出现了“empty variable name”，最后是如下原因：在Makefile中有如下一句话，出现这个错误的原因是“=”左边多了一个空格 make -C $(LINUX_SRC) SUBDIRS=$(shell pwd) modules如果在"="右边多一个空格，则会出现另外的错误： *** Error during update of the kernel configuration. make[3]: *** [silentoldconfig] Error 1 make[2]: *** [silentoldco
阅读全文
