spark高级数据分析-{下拉词

大家好，今天小编关注到一个比较有意思的话题，就是关于spark高级数据分析的问题，于是小编就整理了1个相关介绍spark高级数据分析的解答，让我们一起看看吧。

1. 网络相关大数据分析架构用kafka + spark + hadoop比较好，还是ELK的解决方案比较好？

网络相关大数据分析架构用kafka + spark + hadoop比较好，还是ELK的解决方案比较好？

ELK一般用来解决分布式日志的查询和管理，如果需要大数据统计分析，spark hadoop还是更强一些。但是如果是小公司，且数据量不大，都可以的，ELK可能还更简单一些

我的回答：我觉得选ELK可以实现大数据分析。

我提供一个架构：

日志+Filebeat+Kafka+Logstash+elasticsearch+(Grafana+kibana)的日志***集和分析方案，一般在云计算里面监控用Prometheus（监控k8s）+Grafana。

我的分析：ELK是Elasticsearch、Logstash、Kibana的简称，这三个是核心的套件，但是并非是全部。

elasticsearch是一个实时全文搜索和分析的引擎，提供检索、分析和存储数据的三大功能。它是一套提供高效检索功能、可扩展的分布式系统。它构建于Apache 的Lucene搜索引擎库之上，使用elasticsearch进行数据索引和存储。

logstash是一个用来搜集、分析、过滤日志的工具。使用Logstash进行数据聚合和处理。

Kibana是一套web的图形化界面，用于搜索、分析和可视化存储在Elasricsearch指标中的日志数据，使用Kibana进行数据分析和可视化。

日志***集端我们使用的是Filebeat。先进行数据***集，再通过kafka集群送给Logstash进行数据的过滤和加工，使用Logstash集群去消费

Kafka集群中的数据，Logstash输出日志给elasticsearch。最后通过Kibana和Grafana进行数据可视化。

这个ELK的数据日志分析系统实际上分成几个部分：

1.业务服务器：实现业务的高可用服务。

2.数据***集层：使用filebeat进行日志收集。

3.消息队列层：filebeat是消息的生产者，存储的日志可以随时被Logstash消费。

4.数据分析层：Logstash将获取到的日志进行分析、清洗和过滤，最后转发到Elasticsearch集群中。

5.数据持久化存储：Elasticsearch集群接收到Logstash发过来的数据，把结构化的数据存储到Elasticsearch集群中。

6.数据查询、展示层：Kibana是一个可视化的数据展示平台，当有数据检索请求时，它从Elasticsearch集群上读取数据，进行可视化出图和多维度分析。

鼓励的话语：博观而约取，厚积而薄发。

到此，以上就是小编对于spark高级数据分析的问题就介绍到这了，希望介绍关于spark高级数据分析的1点解答对大家有用。