作者繪制了特定關(guān)鍵詞被提及次數(shù)的月滾動平均值,并將它們繪制在同一個圖表上。下面的圖表說明了這些技術(shù)大約在什么時間點變得越來越流行。
從 2013 年 Spark 開始接管 Hadoop 的那一刻起,Hadoop 就開始穩(wěn)步下滑。
Kafka 成為所有大數(shù)據(jù)技術(shù)棧的主要構(gòu)建塊。
Kubernestes 的崛起,盡管 Data Eng Weekly 并不十分關(guān)注 DevOps,但卻也見證了從 2017 年開始圍繞 Kubernetes 在各個領(lǐng)域的全面炒作。
我只是簡單地畫出在給定年份中被提及次數(shù)最多的 10 個關(guān)鍵詞。
所有原始的 Hadoop 項目都在這里:HDFS、YARN、MR、PIG……以及兩大主流發(fā)行版 CDH 和 HDP,除此之外別無其他!
Hadoop 總體上延續(xù)了它的統(tǒng)治地位,但 Spark 在這一年推出的第一個版本成為 2014 年最熱門的話題!
Spark 取代 Hadoop 的一名位的置,Kafka 進入前三。大多數(shù)舊項目(HDFS、YARN、MR、PIG……)都沒有進入前十。
2016 年是流式處理年,Kafka 取代了 Hadoop 第二名的位置,Spark(流式處理)繼續(xù)占據(jù)主導地位。
與 2016 年的陣容相同,只是加入了 Flink。
Kubernetes 首次亮相,我們回到了基礎(chǔ),試圖找出如何管理(K8S)、調(diào)度(airflow)和運行(Spark、Kafka、存儲……)我們的流。
現(xiàn)在對 2019 年給出任何結(jié)論還為時過早,但看起來 K8s 將在 2019 年成為主流!
英文原文:
https://blog.marouni.fr/bidata-trends-analysis/
點擊下方圖片即可閱讀
員工滿意度最高的19家科技公司,谷歌僅名列第六