数据上报服务
常见方案：定义上报数据格式客户端/服务端 通过sdk、http 然后 nginx将数据进行落地 access log通过日志收集工具 （td-agent，flume等）进行数据收集将收集完毕的数据发送到对应sink（kafka，hdfs，等）通过第三方的监控平台配置对采集数据状态的监控决定的数据上报服务1. 服务端/客户端将数据发送到不同的Nginx（业务不同，到达的日志地址不同）2. Nginx
·
常见方案：
- 定义上报数据格式
- 客户端/服务端 通过sdk、http 然后 nginx将数据进行落地 access log
- 通过日志收集工具 （td-agent，flume等）进行数据收集
- 将收集完毕的数据发送到对应sink（kafka，hdfs，等）
- 通过第三方的监控平台配置对采集数据状态的监控
决定的数据上报服务
1. 服务端/客户端将数据发送到不同的Nginx（业务不同，到达的日志地址不同）
2. Nginx将Post Body写到Nginx Access Log
3. Flume用Tail的方式从Nginx Access Log读取数据
4. Flume用拦截器校验数据、格式化数据
5. Flume Kafka Sink将数据写到Kafka
5. 设计到的kafka消息
数据重发：flume增加线程监控下游，出问题时，将归档的Access Log 重新拿出放入监控目录，重新采集下发一次
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
0
0- 0
已为社区贡献2条内容
所有评论(0)