浙江
關注飛總聊IT，了解IT行業的方方面面。
今年是2025年，我這個公眾號，寫大數據起家的，已經很久沒寫大數據了。
我覺得目前的環境，傳統意義上的大數據，說已經死了，一點都不為過。
因此，在大數據上混日子的人，比如我，現在也就沒什么光明前途了，除非換賽道。
為什么說大數據死了呢？以下是一家之言。
第一，大數據不是大部分企業的剛需。
大數據行業剛開始的時候，先行者比如谷歌，有一個大餅，說我們以后數據會不斷的隨著業務規模和分析使用年限的增加而增長。
但現實而言，現在的企業里面，只要不涉及視頻什么的，純文本意義上的大數據，絕大部分企業，都沒那么大的增長。而且，人們很少去看很久很久以前的數據集。
比如說廣告行業，有誰去挖掘10年以前的數據來更新現在的模型呢？
所以，大部分企業，其實從來都不需要大數據。很多企業的數據規模，也不大。
第二，大數據生態圈丟了很多領地。
大數據剛誕生的時候，我們可以認為是私有云的時代，存儲是大數據里面很重要的一部分，GFS是谷歌三駕馬車之一。
但是現在呢？MapReduce勉強算大數據陣營，雖然它被更先進的技術取代了。GFS這個存儲層，今天早就被公有云更廉價更好用的對象存儲替代了。對象存儲就和大數據沒半毛錢關系了。
至于BigTable作為三駕馬車之一，現在看，最多屬于NoSQL，和大數據沒半毛錢關系。所以以前大家說的谷歌三架馬車奠定大數據基礎，今天回頭看，只有半架馬車了--MapReduce了。
同樣的，在虛擬機時代，YARN作為資源調度管理器，一開始就是在大數據背景下誕生的。但是今天呢？K8S本身和在K8S上的各種資源管理調度框架，和大數據有半毛錢關系嗎？
所以大數據發展到今天，說白了，剩下的領地無非就是lakehouse里面的ETL（Spark)和query（Trino）。其他的，都算不上純粹的大數據。
就連以前寄予厚望的Flink，伴隨Spark對streaming的native support，也沒剩下多少了。
第三，這10多年硬件的發展，也改變了生態。
2008年的單機，和2025年的單機，性能完全不一樣。現在，100多GB的內存，1TB的SSD，不是夢。網絡的發展，也同理。
這就意味著原來可能上千臺機器，需要寫磁盤的操作，今天只需要上百臺機器，幾十臺機器就可以了。
大數據引擎的很多東西，當年看起來各種優化都有道理，越優化越好，現在就不一樣了。以前的Impala用c++寫，按理來說是個很不錯的架構，怎么就敗給了Java寫的Trino呢？
在Trino還是Presto的時候，一分為二，那個依然叫著Presto的Meta分支，要用c++取代Java的實現，實際上來說，重要嗎？似乎在目前單機性能足夠強，單機內存足夠大，JVM的garbage collection越來越牛逼的今天，也越來越不重要了。
所以傳統意義上的大數據，為什么死得差不多了。無非，客戶數據的規模和預測的畫餅天差地別，原本屬于大數據的大盤領地不斷丟失，而新技術尤其新硬件的發展，又使得單機性能規格各方面都比15年前領先了不知道幾個量級。
所以，大數據自然是死了。
但是有人說了，Lakehouse死了，Lakebase活了。我就不點名了，大家都知道這是誰說的。畢竟，現在AI火了，agent的大餅又出來了。
某公司花2B收購一家serverless Postgres，就換來了100B market cap的新融資，這肯定是一筆劃算的買賣。
但是這也給所有做大數據的人一個啟示。傳統意義的大數據的餅，證明是個假餅，已經死了。但是Agent和AI世界里面的新的“大數據”，又可以開始新一輪的畫餅了。
當然，大數據的名字也不好聽了，所以我們必須換個新馬甲新名字。所有做大數據的人，都應該去做Agent用的數據處理系統，而不是人用的數據處理系統。
畢竟，我們接下來的餅畫的是AI的餅，是Agent的餅。
至于10年15年以后往回看，AI的落地，會不會如同今天我們吹的那么美好，還是和大數據一樣，一地雞毛，那我就不知道了。
但是，我覺得索羅斯的名言是對的，管它是不是泡泡，都要ride the wave。跟著潮流走，一個餅破了，還有另外一個餅。
套路還是那些個套路，人還是那些個人。昨天大家都是大數據的人才，今天大家都為Agent事業畫餅添磚加瓦。懂不懂Agent，都是專家。
怎么不是專家了？誰給你膽子說不是專家，是騙子的。
昨天我們都是大數據人，今天我們都是為Agent事業而奮斗的專家。
與所有大數據從業者共勉。不破不立，破了才能立起來。管他趨勢的盡頭是不是洪水滔天，先享受再說。
我們要學習路易十六的名言：我死后，哪管他洪水滔天。此處應有打賞。
推薦飛總知識星球，在私域場合里暢所欲言，聊聊職場發展的事情，和飛總提問交流，這么低的價格不會一直保留，機會難得，一定不要錯過這個的機會。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
