日志服务器

日志服务器

需求：
1、实现网络、各管理系统的日志接入；
2、接口多，灵活；
3、稳定可靠，高可用；


选型：
1)初级： syslog基中管理 + 手工编写分析脚本 + CGI输出，适合简单分析，数据量不大的场景


2)进阶：LogStash，是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。个人用下来感觉它的全文检索功能最为强大，基本上你可以把它看成是splunk的开源解决方案


3)更灵活： Flume + Hadoop + Hive，这三个都是属于Apache基金会下的项目，Flume用与收集日志，Hadoop用于分析与存储，Hive用于存放处理后的数据。这个方案是最灵活也是最强大的，不过搭配起来需要花时间，UI要另外编写。个人推荐LogStash，问题的需求都能满足，而且这是个total solution。




4)Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。


Apache Ambari 的开发者之一 Jayush Luniya 提议将该项目的开发搁置，原因是大部分提交者和 PMC 成员没有积极参与该项目，过去两年来，只发布了 Ambari 2.7.6 这一个版本。
Jayush Luniya 发布了一个 72 小时的投票，如果同意项目退役，就回复 +1。目前该投票已获得全票通过。该项目退役.




最终选定：
第2种方式  LogStash
原因，目前暂时涉及不到大数据，物联网设备，网站应用，网络应用的接入，第3种方式虽然很好，涉及大数据平台，需花费较长时间，并多台机器集群，做大数据，且前台UI，后台等均需要自行定制开发，时间周期就会拉长，初期先用第2种方式，后期再考虑第3种方式。