|
摘要：
AdminServer:183.60.126.203:7001ms1:183.60.126.203:7003ms2:183.60.126.204:7003cs:239.192.1.51.启动weblogicnohup ./startWebLogic.sh &注：要先配置boot.properties，使启动不用输入账号密码2.启动计算机nohup ./startNodeManager.sh 127.0.0.1 5556 &3.启动服务器节点nohup ./startManagedWebLogic.sh ms1 http://183.60.126.203:7001 &发生 阅读全文
摘要：
1.部署的网站在会话数达到600左右的时候就崩掉了，限制会话数400，达到400之后，新访问的人也无法访问，怎么会有这么弱的服务器呢？不太相信。2.找了很久都不知道如何优化，调大了调用内存也没见效果（32位的redhat linux，jvm最大支持1.8G，64位无限制），查了原因说是Sun JVM性能比较差，而且有内存泄漏，在垃圾处理机制上也不是太好，最后采用BEA Jrockit JVM，会话达到1000了服务器还没有崩掉，会不会就是JVM搞的鬼？3.启动Weblogic不用密码在domain/security和domain/servers/AdminServer/security下分别建 阅读全文
摘要：
1.jdkhttp://download.oracle.com/otn-pub/java/jdk/7u3-b04/jdk-7u3-linux-x64.rpm2.tomcathttp://labs.renren.com/apache-mirror/tomcat/tomcat-7/v7.0.26/bin/embed/apache-tomcat-7.0.26-embed.tar.gz3.nginxhttp://nginx.org/download/nginx-1.1.17.tar.gz 阅读全文
摘要：
关于京东商城，新蛋网等网站价格的抓取，至于评论，新闻等这些的抓取就直接只是数据的抓取。抓取价格也比较简单，与平常数据采集一样，只是多了对价格图片的分析。具体做法：1.通过数据采集开发，对价格图片地址进行采集。2.将图片读成流，对像素进行过滤分析（主要过滤杂项干扰像素）。数据模型无非就是"Y,0,1,2,3,4,5,6,7,8,9"，通过程序对这些数据形成进行模拟确定这些值所对应的像素形成来最终确定值。3.采用多线程多代理进行快速采集。主要目的是为了对某个商品进行历史价格的跟踪。由于价格多变，为了不买到贵的价格，用户真有这种需求 阅读全文
摘要：
针对数据采集的工作已经有一段时间了，最近遇到一些新的问题，并将整个解决思路写下来，以做思路备份。:)
最近因项目需求，需要在google地图上进行抓取上百万条数据。
第一阶段：简单程序
第二阶段：解决敏感字
第三阶段:采用多代理采集
第四阶段：多线程多代理采集
第五阶段：打破砂锅问到底 阅读全文
|
