資料處理概念與方法(1)-資料整理與整合

巨量資料.大數據(Big Data)

特性

大數據在各領域之應用

資料引用:108課綱高中資科科友出版社

實作1-資料(數據)視覺化

空氣品質開放資料偵測源-空氣盒子(訊舟科技)

https://airbox.edimaxcloud.com/

g0v 零時空汙觀測專案專案小組

https://list.airmap.g0v.tw/

LASS開源公益環境感測網路 Location Aware Sensing System

https://pm25.lass-net.org/

紫豹

https://purbao.lass-net.org/

用數據看台灣

https://www.taiwanstat.com/realtime/

資料科學(Data Science)

資料科學的目的

監控資本主義時代下的資料科學、AI 與你我的數位未來

資料科學的步驟

「取得資料」→「資料前處理」→「資料轉換」→「資料分析」→「資料解釋」→『發現知識」

資料科學應用範圍

資料引用:108課綱高中資科科友出版社

資料與資訊的意義 (The meanings of materials and information)

範例:會考相關資料與資訊

(1)會考前的資料(4次模考成績單)

(2)會考前的資料(歷屆資料)-目標

(3)會考後的統計資訊(2022060*)

(4)會考成績單資料(20220610)

(5)會考後填志願的優先評估指標(20220610-2*)

• 升學率(高中升大學.高職升科大)
• 交通(捷運公車火車走路住宿)
• 特色(名氣.課程.校風.校服.....)
• 家人及自己的期待
  

實作2-北北基高中職升學資訊系統

1.學校地圖資訊系統

2.111學年度北北基高中職續招資訊系統

新北市

台北市

實作3-高中(職)升大學(科大)資訊

國中篇

111年基北區國中會考錄取建中、北一女與附中人數統計

高中篇

111年台灣公私立高中錄取台灣頂大人數統計

高職篇

臺北市立某高級工業職業學校110學年度科大甄選入學錄取榜單

臺北市立某高級工業職業學校110學年度科技校院登記分發錄取榜單

取得資料(蒐集資料)

• 問卷
• 內部累積
• 開放資料

隨著開放資料的議題興起，現在也有越來越多的官方或非官方組織將其資料公開讓大家使用。

實作4-開放資料收集與讀取

思考問題:由上述資料表中你看到了甚麼?

說明:資料儲存方式

範例

(1)資料表

(2)CSV(Comma-Separated Values，CSV，逗號分隔值，有時也稱為字元分隔值)

(3)JSON（JavaScript Object Notation）是一種開放的標准文件格式和資料交換格式

資料引用:108課綱高中資科科友出版社