描述

客觀的

該項目涵蓋了使用大數據生態系統的開源技術部分在 Arduino 上部署一個簡單架構以實時和批處理溫度傳感器數據的過程。該解決方案的目的是舉例說明通過不同工具的數據流，從捕獲到轉換和洞察生成。

在所呈現的架構中，數據的發布、傳輸和存儲服務與 Arduino 板發送數據的格式無關。這推動了構建集中式服務的想法，用于將消息從不同的發送設備分發到能夠使用這些數據的許多客戶端或服務。

在此前提下，該架構的適用可能性與信息發射設備的實現創意成正比。

版本

• Arduino IDE 1.8.5

• 蜂巢 1.2.1

• 卡夫卡 0.10.0

• 火花 1.6.2

• 齊柏林筆記本 0.6.0

• NiFi 1.2.0

數據流

?

?

1.- 從濕度/溫度傳感器生成數據

• 加載在 Arduino 平臺中的代碼每 3 秒通過 DHT 傳感器讀取一次，捕獲：

• 環境中的濕度百分比。

• 攝氏溫度 (°C)

• 華氏溫度 (°C)

• 計算熱量指數。這個度量決定了人們如何根據環境的濕度來感知溫度。

• 向外部 Web 服務發出請求，以根據預定義的時區確定閱讀時間。

2.- 數據發布到 MQTT 服務器

• 構建將發送到 MQTT 服務器的消息或有效負載：

• 有效負載為 JSON 格式。

• 它包含傳感器捕獲的數據、計算的信息、讀數的日期/時間、自 Arduino 平臺啟動以來經過的毫秒數以及發射器設備的唯一標識符。

• 驗證 Internet 和 MQTT 代理連接。

• 有效負載在預定義的用戶名和密碼下發布到特定主題的 MQTT 代理。

• MQTT 代理有一個權限列表，定義了哪些用戶可以發布現有主題的信息。

3, 4 & 5.- 實時數據采集

• Apache NiFi 服務有一組有組織的指令，可在捕獲數據時編排數據流：

• NiFi 連接或訂閱 Mosquitto 主題并實時捕獲消息。

• NiFi 通過在消息之外定義與消息和 MQTT 代理的技術方面相關的新字段來補充接收到的消息（JSON 字符串）。

• NiFi 將消息和新字段插入 Hive 數據存儲。

• NiFi 在 Kafka 中發布原始消息。

• Hive 和 Kafka 存儲數據：

• Hive 允許對歷史數據進行批處理。

• Kafka 允許實時處理 Arduino 平臺發送的數據。

6 & 7.- 數據處理

• Zeppelin 運行代碼塊（Scala 和 SQL）：

• 可以查詢存儲在數據倉庫中的數據。

• 可以實時訂閱Kafka主題，處理不同時間窗口下的消息。

• 代碼在 Spark 上執行。

• 在每個時間窗口中獲得的數據被轉換并存儲在 Hive 表中。

• 在每個窗口上計算捕獲的溫度平均值。

圖書館

• Adafruit 統一傳感器 1.0.2

• DHT 傳感器庫 1.3.0

• 發布訂閱客戶端 2.6.0

• 時間 1.5.0

• NTP客戶端 3.1.0

ARDUINO IDE 配置

通用設置：

• 板：“ESP8266 通用模塊”

• 閃光模式：“DIO”

• 閃存大?。骸?12K（64 SPIFFS）”

• 調試端口：“已禁用”

• 調試級別：“無”

• 重置方法：“ck”

• 晶體頻率：“26 MHz”

• 閃光頻率：“40 MHz”

• CPU頻率：“80兆赫”

• 上傳速度：“115200”

• 程序員：“AVRISP mkII”

串口監視器

• 自動滾屏

• 安博斯 NL & CR

• 115200 波特

觀察

在這個項目中，指令沒有加載到 Arduino 板，而是加載到 ESP8266 模塊，因為正是這個模塊將操作、轉換和發送數據。

要將指令加載到 WiFi 模塊，必須在啟動時進入 Flash 模式，這是通過Pinout 圖（Flash 模式）中顯示的引腳配置來實現的。

建議 Arduino 板在對 ESP8266 模塊進行代碼加載時沒有加載指令。

執行

在串口監視器中，我們可以觀察到連接、捕獲和發布消息的過程。

?

?

如果我們訂閱 Mosquitto 主題，我們可以看到消息是如何由 Arduino 板實時發布的。

NiFi 在 Kafka 和 Hive 上發布捕獲的消息。在后者中，與 MQTT 服務器相關的附加字段記錄在表中。

一旦 NiFi 模板啟動，如果我們訂閱將消息重定向到的 Kafka 主題，我們將能夠觀察消息是如何在 Mosquitto 收到時立即發布的。在下圖中，我們可以看到 Mosquitto 主題（左）和 Kafka 主題（右）中的消息接收情況。

另一方面，如果我們定期查閱 Hive 表，我們會注意到寄存器的數量根據 NiFi 捕獲的消息而增加。

?

?

Scala開發的notebook是JSON格式，可以導入Zeppelin，分為7段：

1.- 設置。

2.- 數據采集。

3.- 按窗口計算溫度平均值。

4.- Kmeans 模型創建和訓練。

5.- 數據分類（窗口）

6.- 數據分類（隨機數據）

7.- 數據檢查。

?

使用 Zeppelin 和 Spark 從 Kafka 主題中實時捕獲數據。

?

?

?

使用 Kmeans 訓練模型進行濕度和溫度數據分類。

?

?

?

濕度和溫度 (°C & °F) 值變化的時間線。

?

下一步改進

該項目缺乏以下可以增加這些技術可能應用價值的特征：

• Arduino 板與不同類型的傳感器集成。

• 多路復用發送到 WiFi 模塊的信號。

• 開發狀態和控制指示器（LED、警報、警報）。

• 閃光模式激活/停用按鈕。

資源

復制此項目的詳細說明可在此Github 存儲庫中找到，以及使用的草圖、模板、筆記本和測試數據。

目前它是西班牙語，所以當它被翻譯成英語時，你可以用這種語言練習你的技能；）。