預計到2025年，聯網裝置的數量將增加兩倍。相應地，物聯網正在加入重要的大資料來源。這使得資料從業者將注意力轉向物聯網大資料。

物聯網大資料的性質

物聯網大資料與其他大資料型別明顯不同。要形成清晰的畫面，想象一個不斷生成資料的感測器網路。例如，在製造中，它可以是特定機械部分的溫度值，以及振動、潤滑、溼度、壓力等。因此，物聯網大資料是

機器生成的

，而不是由人類創造的。它主要代表

數字的流動

，而不是文字的塊。

現在，想象一下，每個感測器每秒產生 5 次測量，總體而言，您安裝了 1，000 個感測器。而這種

大容量

資料是

不斷流動

的（順便說一句，這樣的資料有一個特殊的名稱 – 流資料）。當然，純粹的資料收集不是你的最終目標 – 你需要有價值的見解，其中一些儘可能接近

實時

。如果壓力突然降到臨界水平，你就不會高興知道這一點，只有幾個小時。到那時，您的維護團隊可能已經在嘗試修理損壞的機械單元。

此外，物聯網資料是

特定的位置和時間

。雖然示例可能很多，但在這裡我們僅會提到幾個示例：位置資料對於瞭解哪些感測器傳達可能表示即將發生故障的讀數至關重要，而時間戳對於識別可能導致機械故障的特定模式至關重要。例如，每十秒鐘溫度值增加 5 F，但仍不會超過閾值，這導致壓力增加 1，000 Pa 一分鐘。

物聯網大資料的儲存、預處理和分析

當然，您的業務目標始終為

解決方案的架構

奠定基礎。儘管如此，物聯網大資料的性質在資料儲存、預處理和分析方面留下了印記。因此，讓我們仔細看看每個過程的具體功能。

物聯網大資料儲存

由於您必須處理大量不同格式的快速到達的結構化和非結構化資料，傳統的資料倉庫將無法滿足您的要求 – 您需要一個

資料湖

和一個大資料倉庫。資料湖可分為幾個區域，如著陸區（原始格式的原始資料）、過渡區（用於基本清理和過濾後的資料以及來自其他資料來源的原始資料），以及分析沙盒（用於資料科學和探索活動）。需要一個大資料倉庫從資料湖中提取資料，進行轉換，並以更有條理的方式進行儲存。

物聯網大資料預處理

重要的是要決定您是想儲存原始資料還是已經預處理過的資料。事實上，正確回答這個問題是與物聯網大資料相關的挑戰之一。讓我們回到我們的示例中，感測器每秒通訊 5 個溫度值。一種選擇是儲存所有 5 個讀數，而另一個選項是隻儲存一個值，例如每個聚合期的平均/中位數/模式為一秒。要清楚地看到這種方法對所需的儲存容量有何不同，您應該將感測器的總數乘以預期的執行時間，然後乘以其讀取頻率。

如果您屬於70% 重視實時管理資料的組織，並且您的計劃的一部分是獲得實時見解，則無需將所有讀數傳送到資料儲存，仍可以進行實時警報。例如，您的系統能夠吸收整個資料流，並且設定了觸發即時警報的關鍵閾值或偏差。但是，只有一些過濾或壓縮的資料被髮送到資料儲存。

避免資料丟失的方法

還需要提前考慮，如果讀數流量因某種原因停止，假設感測器暫時故障或與閘道器失去連線。

在這裡，有兩種方法是可能的：

使用可靠的可靠演算法

來疏漏資料。

例如，使用冗餘感測器

，有幾個感測器來測量相同的引數。一方面，這增加了可靠性：如果一個感測器發生故障，其他感測器將繼續傳送讀數。另一方面，這種方法需要更復雜的分析，因為感測器可能會生成略有不同的值，而分析演算法應該對此進行處理。

物聯網大資料分析

物聯網大資料需要兩種型別的分析：批次和流媒體。批次分析是所有大資料型別固有的，物聯網大資料也不例外。它被廣泛用於對捕獲的資料進行復雜的分析，以確定趨勢、相關性、模式和依賴性。批次分析涉及應用於歷史資料的複雜演算法和統計模型。

流式分析完美地涵蓋了物聯網大資料的所有細節。它旨在處理在小時間間隔內生成的高速資料流，並提供近乎實時的見解。對於不同的系統，此

“實時”引數會有所不同

。在某些情況下，它可以用毫秒來測量，而在其他情況下，可以在幾分鐘內測量。為了儘快獲得見解，可以分析捕獲的資料在系統的邊緣，甚至在資料流處理器中。

總結一下

從本質上講，物聯網大資料是機器生成的、大容量的、流媒體的、位置和時間特定的。大資料諮詢實踐證明，在設計和

開發物聯網解決方案

之前考慮這些功能是多麼重要。我們確信，您不希望在短短几個月內耗盡儲存空間，或僅僅因為您的解決方案不支援流式分析，或面臨任何其他問題而錯過實時見解，而會破壞您的 IoT 解決方案的穩健性。為了避免這種情況，有必要明確確定您的短期和長期業務需求，並從多個選項中仔細

選擇最佳的大資料架構和技術堆疊

。