上次说了大数据的实时分析的架构,但是可能你在的公司没有那么大的需求,大数据的架构分析至少需要3台机器。而且上面还跑了N个应用,那么小数据的话,架构可不可以优化呢?通过最近的研究发现,flume+mongo是个不错的组合。服务器只需要一台。
之前一直想把数据存在mysql上,因为之前自己做日志分析的时
[……]阅读全文
上次说了大数据的实时分析的架构,但是可能你在的公司没有那么大的需求,大数据的架构分析至少需要3台机器。而且上面还跑了N个应用,那么小数据的话,架构可不可以优化呢?通过最近的研究发现,flume+mongo是个不错的组合。服务器只需要一台。
之前一直想把数据存在mysql上,因为之前自己做日志分析的时
[……]阅读全文
最近公司在弄大数据的采集,有时间的话把自己的心得体会写下,算作初步认识,等以后见解更深的时候,再看这篇文章应该别有一番风味。
公司采用:
flume –》fdfs (元数据存储)
–》elasticsearch (索引式存储)
–》kafka –》 stor[……]阅读全文