1 项目背景 :

            做为电子商务的实时统计分析系统,如何对实时产生的日志进行统计和分析,将是目前 云商的一大热点。


2 系统流程:

            如下表:

                

            

    各个类型的的数据日志,包括,点击,点赞,购买,评论等消息生成来源,通过kafka日志收集工具,不断的将数据发送到Storm的计算集群之中,经由Storm处理以后,将处理完成的结果写回redis,亦或是mysql。


3: 日志的介绍:

            对于所要分析的日志~,由于需要屏蔽掉真实项目的授权问题,我仅仅在此提供一些最低级别的日志字段:

请参看如下表:

    

        

请参看如上表格:

           目前的情况 

                   First : 我们的统计在维度上如下:

                        1 地域

                        2 时间    

                        3 各个系统的版本号

                        4 来源类型

                        

                    Second:我们在统计粒度上如下

                        1: 地域,我们需要保证三级的分类   【省,市,县】

                        2 :时间上,【年,月,日,小是,分】

                        3 :时间上,我们还需要附加的时间额度: 星期,季度


也就是说,在一个基本的范畴之类,我们的统计为:

                 实时的查看,某一天【时间】,在某一个地点【地域】, 在某一个系统版本【版本】下的 pv,uv


Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐