大數據處理的數據從何而來？

來源：北大青鳥總部 2022年12月15日 10:10

摘要：數據是一切數據分析、數據挖掘、大數據處理、ai算法的核心。

前兩天小編和同事聊天，有一茬沒一茬的聊到，“咦，你說咱們用來做大數據處理的這些數據，都是從哪來的呢？”，小編一時語塞，“你管它呢，總之它就有”。但這個問題它還真是一個值得說說的問題。

在現在的數據技術時代中，數據有著不可替代的地位，拋開數據談大數據服務就是瞎扯，沒有數據作支撐的大數據平臺就是一個空殼。數據是一切數據分析、數據挖掘、大數據處理、ai算法的核心。

在目前的來看，絕大多數公司或者組織做大數據處理時，他們的數據來源于：設備收集、數據庫、日志、爬蟲等等。當然如果是學術或者個人做大數據處理的研究的話，數據還經常可能來源于：開源數據集、造數據（假數據/模擬數據）等等。

這很好理解，因為在公司中，常常數據都是需要服務于真實業務，所以數據也就來自于真實業務，而個人或者學術上可以使用一些特定的開源數據集來做相應研究，下面我們來介紹一下公司中經常獲取數據的這幾種方法：

1.設備收集

設備收集顧名思義就是使用一些設備來進行收集數據，比如在工業界電力行業常用的Scada數據就是通過常用的一些終端電子設備，直接放在匯流箱、逆變器等設備上，實時將電流電壓數據記錄并保存下來，這樣得到大量的數據。

再如，我們每個人的手機可能都是某些軟件的數據收集終端，我們每天的運動步數可能會被支付寶/微信記錄下，我們每天點開軟件的次數等等這些操作，都是各個軟件收集數據的一個手段。這些數據可以直接放入到大數據環境當中，也可以通過關系型數據庫做一個跳板。

2.從數據庫導入

在大數據技術風靡起來前，關系型數據庫（RDMS）是主要的數據分析與處理的途徑。許多公司的業務邏輯數據都是存放在關系型數據庫中。比如一個電商網站，你購買了一件商品，發生的這種行為絕對會生成一條數據在數據庫中。

比如你收藏了一件商品、退貨了一件商品等等這種行為都會被記錄到數據庫中。發展至今數據庫技術已經相當完善，當大數據出現的時候，行業就在考慮能否把數據庫數據處理的方法應用到大數據中。

雖然出現Hive等大數據產品，但是在生產過程中業務數據依舊使用 RDMS 進行存儲，這是因為產品需要實時響應用戶的操作，在毫秒級完成讀寫操作，而大數據產品不是應對這種情況出現的。

到這里你可能就有一個疑問，如何把業務的數據庫同步到大數據平臺中？一般來說業務數據我們使用實時和離線采集數據來將數據抽取到數據倉庫中。然后再進行后續數據處理和分析，我們常用的數據庫導入工具是Sqoop。

Sqoop是 Apache 旗下一款 Hadoop 和關系型數據庫之間傳送離線數據的工具。實現關系型數據庫同 Hadoop 集群的 Hdfs、Hbase、Hive 進行數據同步，是連接傳統關系型數據庫和 Hadoop 的橋梁。

3.日志導入

日志系統將我們系統運行的每一個狀況信息都使用文字或者日志的方式記錄下來，這些信息我們可以理解為業務或是設備在虛擬世界的行為的痕跡，通過日志對業務關鍵指標以及設備運行狀態等信息進行分析。

除了常規記錄的方式收集日志之外，一般用戶的一些行為日志收集的方式我們采用埋點的形式進行收集。埋點的意思實際上是在前端頁面上放上一個監控點，它能夠記錄下你所有的一些行為，比如你鼠標來來回回移動了幾下，你點擊了哪些地方，你在這篇文章上停留了多久，你在輸入框中輸入了什么字然后又刪除了等等所有的一些行為，都可以被埋點所記錄。

而將日志數據導入到大數據環境中也有許多的方案，常見的日志收集解決方案如ELK搭建日志采集+日志查詢+可視化系統。

Flume+Kafka+Hive/Spark+SparkStreaming實現日志的實時采集+離線分析+實時處理的架構等等。

4.爬蟲

爬蟲是一種通過模擬正常人瀏覽訪問網站的一類程序，它通過模擬正常人訪問網站，從而達到獲取該網站數據的目的，比如說我訪問了一下天氣預報網站，并復制了今天的溫度發給女朋友，我說對女朋友說“寶貝，今天溫度很合適，咱們去爬山吧”，女朋友回“分手吧，40度的溫度你叫我爬山，你根本不愛我”。看吧，我成功通過獲取網站的數據丟失了一個女朋友。爬蟲就是通過模擬人的方式去訪問網站，并獲取網站的數據的。

時至至今，爬蟲的數據成為公司重要戰略資源，通過獲取同行的數據跟自己的數據進行支撐對比，管理者可以更好的做出決策。爬蟲也是一個非常有用和常見的數據獲取方式。