2014年1月30日

Flume

摘要： Step1.download tar packages from apache website.Step2.extract the file and set the environment.Vim /etc/profileExport FLUME_HOME=/home/hadoop/flume1.4Export PATH=$PATH:$FLUME_HOME/binSource /etc/profileStep3:Start a agent to put dir to avro.flume-ng agent -n agent1 -f confs/avrotest.confflume-ng avr 阅读全文

posted @ 2014-01-30 08:40 tneduts 阅读(380) 评论(0) 推荐(0) 编辑

SSIS with vertica

摘要： 使用ODBC进行连接,因为SSIS中没有直接的ODBC connection,所以使用ADO.NET的连接器.九分钟才跑了四百来条数据。这个图反应了SSIS的数据流速度还是可以的，但是瓶颈就在ODBC destination 里。还有一种情况是，你看到SSIS容器中的组件（控制流和数据流）都已经变绿色了，在Progress info中也没有发现任何的错误提示信息，但是去Vertica中查看，表中却没有任何一种记录。这是odbc连接没有接到正确的反馈。我遇到的情况是，Vertica中对应表中的一个列是not null,但是我这边传递的可能是NULL值，我不知道odbc的配置中是如何处理这种情况的 阅读全文

posted @ 2014-01-30 08:30 tneduts 阅读(825) 评论(0) 推荐(0) 编辑

导航