用簡單的術語解釋：什麼是大數據，它有什麼用？
數字設備和互聯網會產生大量數據。公司可以使用這些數據來更好地使其產品和服務與市場和客戶保持一致。因此，大數據可以對公司的成功做出決定性的貢獻。但大數據到底意味著什麼？究竟如何才能很好地利用這些數據？
本文以一種簡單易懂的方式解釋了大數據的全部內容，所有這些數據的來源以及使用地點。您將了解為什麼這麼多公司都在努力收集數據，以及需要哪些技術來做到這一點。我們還展示了存在哪些挑戰，並展望了大數據在未來將發揮的作用。
大數據是什麼意思？
我們將大數據理解為高度複雜和高度動態的大量數據。它不能使用傳統的數據處理方法進行存儲和評估。這意味著：一台計算機無法處理大量數據，而Excel等普通軟體也無法對其進行分析。為此需要特殊技術。大數據一詞也經常用於這些技術。
定義：大數據的3Vs
3V模型通常用於定義大數據。計算機科學家道格·萊尼（Doug Laney）在2000年代初描述了大數據的三個關鍵維度：
卷
它們通常包含數百萬 GB。人們還談到了 PB（約 100 萬 GB）或 EB（約 10 億 GB）。在日常生活中，我們很少遇到如此龐大的數據量。通過這個類比，它變得更容易理解：1 PB 相當於大約 5000 億頁的文本。不難想像，普通的硬碟驅動器是不夠的。由於如此龐大的數據量，大數據也被稱為海量數據。
速度（速度）
數據集是高速創建的。而且由於它們的動態性質，它們很快就會失去價值，因此它們還需要高速傳輸和評估。一些數字設備可以即時或近乎即時地處理動態數據流。
品種
快速移動的大型數據集包含不同類型的數據。有結構化格式，如普通表格，以及半結構化和非結構化格式，如照片、視頻或電子郵件。數據類型的多樣性需要特殊的系統來存儲和分析數據。
多年來，3V 模型已被許多其他以字母 V 開頭的術語擴展，例如 Veracity 或 Value。然而，根據不同的定義，大數據的主要特徵始終是數據量大、速度快、種類繁多。
大數據的來源：數據從何而來？
全球數位數據量有增無減。每年都會產生大量的新數據，而且是以越來越極端的維度產生——更快、更複雜、數量更大。考慮到持續的 數位化 ，這並不奇怪。數字設備、智慧系統、應用程式等正在湧入市場。數十億人使用互聯網和各種數字媒體。越來越多的公司和行政部門正在經歷數位化轉型過程。數位基礎設施正在通過創新技術不斷擴展。這導致了許多數據源，例如：
- 智能手機
- 智慧手錶
- 智慧家居設備
- 社交媒體
- 搜尋引擎
- 流媒體服務
- 電子商務
物聯網是一個巨大的技術和軟體系統網路，它們通過互聯網連接並交換數據。
使用大數據的示例
在我們的數位化世界中，數據基本上可以隨時隨地獲得。公司正在利用這一點，研究也是如此。不同的行業、部門和社會部門都可以從大數據中獲得新的見解。以下是一些範例：
示例 1：汽車行業
自動駕駛和自動駕駛的重要“燃料”是數據，而且數量很多。車輛在交通中的自主性越強，集成人工智慧系統的演算法就越好。其基礎是來自類比、測試軌道以及最終在真實道路交通中的公里駕駛數據。這使得人工智慧能夠測試道路交通中的各種場景。這所基於數據的汽車駕駛學校確保了車輛乘員的高度安全。
示例 2：市場行銷
營銷從客戶數據中獲益。例如，想想你最喜歡的品牌。你向公司提供哪些關於你自己的資訊？也許您在網上商店購物。也許您在社交媒體上關注該品牌並與他們的帖子互動。也許您填寫了客戶調查、撰寫評論或擁有客戶卡。所有這些都會生成數據——關於您的購買行為、媒體使用方式、偏好、品牌忠誠度等數據。公司可能會使用這些資訊來瞭解更多關於您作為客戶的資訊，並通過您最常使用的管道為您提供個人化資訊。
示例 3：醫療保健
在醫學和醫療保健領域，大量數據來自患者和普通人群，例如通過健康保險公司、健康應用程式或癥狀搜索查詢。例如，合理使用這些數據可以説明改善患者的個人護理或設計有效的預防服務。
為什麼大數據很重要？
“數據是新的石油。”這句話很好地概括了大數據的趨勢，因為數據被認為是未來的原材料。 數字化轉型 正在顛覆企業和工作世界，數字數據正在成為一種核心資源。大型科技公司的成功建立在龐大的數據集上，越來越多的中小型公司希望挖掘大數據的潛力。
關鍵不是收集盡可能多的數據。有效地利用現有數據更為重要。通過處理和評估它們，可以確定趨勢、模式和相關性。這為流程、產品、市場和人員提供了寶貴的見解。在此基礎上，公司可以：
- 更好地管理流程和資源（例如節省時間和成本）
- 根據市場趨勢優化產品或開發新產品
- 根據數據做出業務決策
不僅公司可以從大數據中受益。數據還可以在醫學、教育或行政等公共部門帶來更多的知識和進步。
大數據技術的工作原理
知識和進步不會自動產生於大數據。數據必須得到有效的存儲、管理，最重要的是，必須進行評估。這需要特殊的技術和工具。合適的大數據解決方案根據以下原則工作：
分發到多個系統
數據不是在單個設備上存儲和處理，而是分佈在多個互連的設備上。這些可以是數據中心中的計算機或伺服器。另一方面，遠端解決方案是雲計算。在這裡，數據是在線存儲的，可以通過現有的互聯網連接隨時隨地訪問。
並行處理
對於 PB 級和 EB 級的數據量，逐個處理數據需要很長時間。因此，為了加快評估速度，數據和數據分析的部分步驟都分佈在幾台計算機上。這允許同時處理數據。隨後，將部分結果合併在一起。這比順序方法快得多。
高擴展性
由於數據流是非常動態的，因此必須不斷調整大數據基礎設施的容量。這是有效截獲數據流中峰值或低谷的唯一方法。一個高度可擴展的系統可以做到這一點：如有必要，可以添加新的計算資源以增加其大小和性能。高度可擴展的大數據存儲系統包括數據湖或 NoSQL 資料庫，也稱為非關係資料庫。
高級分析
頻率分佈和相關性不足以評估大數據。需要更複雜的分析方法，例如數據挖掘或人工智慧。這些可用於商業智慧領域，系統地分析公司數據。顧名思義，高級分析方法需要高級技能。數據科學家帶來了這些專業知識。他們的任務是將大數據轉化為智能數據，並以易於理解的方式準備獲得的資訊，例如通過可視化。
自動化
為了應對快速增長的數據洪流，對自動化解決方案的需求越來越大。即使在今天，海量數據也無法再手動管理和分析，全球數據量每年都在呈指數級增長。盡可能減少數據分析中人為因素的有前途的技術是人工智慧、機器學習和神經網路。
大數據的挑戰
那些與大數據打交道的人必須始終與最新技術保持同步。技術基礎設施在不斷發展，數據處理方法也在不斷變化。例如，就在幾年前，Apache Hadoop框架還是用於存儲和處理大量數據的通用大數據生態系統。同時，還有 Apache Spark 和 Apache Flink，它們可以加快數據處理速度。
另一個挑戰是數據品質。許多數據集由於其複雜性和快速變化而存在重複、差距或錯誤。在正確評估數據之前，通常必須通過耗時的過程進行清理、準備和檢查。
在關於大數據的辯論中，一個經常被批評的點是數據保護。公司收集了大量有關其客戶的資訊，其中一些非常私密。在線服務、應用程式或智慧設備的使用者通常不知道哪些數據被誰使用以及用於什麼目的。面對數位媒體和互聯網日益增長的 資訊過載 ，維護對自己數據的概述對每個人來說都是一個重大挑戰。
大數據的未來和大數據的未來
數據將繼續成為我們資訊和知識社會的寶貴資產。生成的數據量每年都在快速增長，大數據和人工智慧技術市場有增無減。可以即時處理數據的機器學習應用程式和解決方案目前非常流行。
由於數據和大數據分析在產生知識和自動化流程方面具有巨大潛力，因此是工業 4.0 的關鍵驅動力。數據保護和資訊安全等主題仍然是議程的重中之重。諸如深度偽造或人工智慧歧視等現象越來越多地在公共場合被討論。
因此，大數據和人工智慧不僅對數據專家和人工智慧開發人員感興趣！我們的在線學習“ 大數據——了解數據世界 ”將讓您更深入地瞭解。
