資料湖（Data Lake）

資料湖是一種高度彈性的儲存模式，通常用來以「原始格式」收納巨量的資料。無論是結構化資料（表格）、半結構化資料（JSON／XML）、還是非結構化資料（圖片、影音、音訊）都能一網打盡。

常見的做法是將資料放在雲端 Blob 儲存，再依工作負載選用不同的運算引擎。

示意圖

使用資料湖（Data Lake）的話，無論是結構、半結構或是非結構化的資料都可以直接塞進去，然後給 Data engineer、Data scentist 跟 ML engineer 等等的人來做使用。

優勢

• 低成本儲存大量資料
• 未來擴充性高，可收納任何資料型別
• 可針對不同工作負載混搭最佳運算方案
• 全公司資料集中於單一位置，方便各角色共同協作

劣勢

• 資料治理困難，需要完善的資料目錄與中繼資料
• 「儲存太便宜」容易讓團隊無差別囤資料，造成贅餘

資料的分類

結構化資料（Structured Data）

這類資料擁有固定格式、欄位定義清楚，可以直接存在關聯式資料庫（如 MySQL、PostgreSQL）。

🔸 特徵：

• 有明確 schema（欄位定義）
• 容易查詢與分析（SQL）
• 表格格式

範例

儲存地點

RDBMS 的資料庫、Excel 表格、Google Sheets 等。

半結構化資料（Semi-structured Data）

資料沒有固定的欄位順序，但仍然有結構標記（像是 key-value 格式），可以用工具轉成結構化。

🔸 特徵：

• 沒有嚴格 schema，但仍有結構
• key-value 格式（常見於 JSON、XML）
• 適合 NoSQL 存儲或資料湖

範例

JSON

{
  "name": "陳大文",
  "email": "david@example.com",
  "hobbies": ["登山", "攝影"]
}

XML

<user>
  <name>陳大文</name>
  <email>david@example.com</email>
</user>

儲存地點

MongoDB、Elasticsearch、S3、Kafka message 或 API 傳輸資料等。

非結構化資料（Unstructured Data）

這類資料沒有明確格式或欄位結構，無法直接套用傳統資料查詢工具。

🔸 特徵：

• 沒有固定欄位格式
• 難以直接分析
• 需要 NLP、影像辨識、OCR 等工具處理

範例

圖片、影片、pdf、自由輸入的留言、郵件內容等。

儲存地點

雲端儲存、文件伺服器、影片平台、Email 系統等。

在三大雲端服務的工具名詞對照表

那在 AWS、GCP 跟 Azure 這三大雲端服務中，又該如何運用資料湖的概念呢？

AWS（Amazon Web Services）

GCP（Google Cloud Platform）

Azure

雲端工具對照表

參考資料

https://dataengineering.wiki/Concepts/Data+Architecture/Data+Lake

• About
• Latest Posts

數據女巫 𝔻.𝕡𝕪𝕤 🔮

𝐀𝐈 𝐀𝐫𝐭𝐢𝐬𝐭 • 𝐒𝐨𝐟𝐭𝐰𝐚𝐫𝐞 𝐄𝐧𝐠𝐢𝐧𝐞𝐞𝐫
﹊﹊﹊﹊﹊﹊﹊﹊﹊﹊﹊﹊﹊﹊
致力於打破現有框架的 AI 藝術創作者，曾接受藝文雜誌的個人專訪，作品於香港實體展出。有擔任大學講座講師與 Stable Diffusion AI 年會講者的經驗。擅長 Live Prompting，曾獲 GIGABYTE VS AI 街頭對戰冠軍、ASUS 校園 AI 繪圖競賽亞軍等殊榮。
---
歡迎合作邀約 / 委託 / 各式交流
ᴇᴍᴀɪʟ：dpys@techmagichouse.art

Latest posts by 數據女巫 𝔻.𝕡𝕪𝕤 🔮 (see all)

• [資料工程筆記] 資料市集（Data Mart）介紹與在三大雲端服務的工具名詞對照 - 2025-07-25
• [資料工程筆記] 資料倉儲（Data Warehouse）介紹與在三大雲端服務的工具名詞對照 - 2025-07-23
• [資料工程筆記] 資料湖（Data Lake）介紹與在三大雲端服務的工具名詞對照 - 2025-07-21