資料處理概念與方法


資料處理(Data Process)概念

1.資料與資訊的意義 (The meanings of materials and information)

資料來源:https://covid-19.nchc.org.tw/dt_005-covidTable_taiwan.php

2.資料處理方法

3.資料處理工具(試算表及程式語言)

範例:會考相關資料與資訊

(1)會考前的資料(4次模考成績單)

(2)會考前的資料(歷屆資料)-目標

(3)會考後的統計資訊(2022060*)

(4)會考成績單資料(20220610)

思考問題1:請問這個成績單是幾分?他大概落在哪一個學校的區間?(高中或高職皆可)

(5)會考後填志願的參考資料(20220610-2*)

思考問題2:你填志願的規準及優先順序為何(分數夠的情況下)?

1.升學率(高中升大學.高職升科大)

2.交通(捷運公車火車走路住宿)

3.特色(名氣.課程.校風.校服.....)

4.家人及自己的期待

EX:2143

(6)會考填志願資訊系統(2022.06.2*)

(7)會考放榜資料(2022.07)

實作1-110北北基續招資訊

新北市

台北市

思考問題3:3年後的你高中職畢業後你想立刻升學嗎?寫出你的想法

1.要升學(含半工半讀)

2.不要升學.直接就業

實作2-高中(職)升大學(科大)資訊

高中篇

110年公私立高中錄取台大人數與醫牙電資人數統計表

110年公私立高中錄取清華大學與陽明交通大學人數統計

高職篇

臺北市立某高級工業職業學校110學年度科大甄選入學錄取榜單

臺北市立某高級工業職業學校110學年度科技校院登記分發錄取榜單

111學年度四技二專統一入學測驗各科試題與參考答案公布

110學年度 四技二專日間部聯合登記分發各校系科組錄取高低分統計表(一般生) 各校錄取分數


資料處理(Data Process)方法

(1)資料科學(Data Science)

資料科學的目的

從資料中找關係

資料科學的步驟

「取得資料」→「資料前處理」→「資料轉換」→「資料分析」→「資料解釋」→『發現知識」

資料科學應用範圍

資料引用:108課綱高中資科科友出版社

A.取得資料

隨著開放資料的議題興起,現在也有越來越多的官方或非官方組織將其資料公開讓大家使用。

實作3-開放資料收集與讀取(利用試算表及記事本開啟)

說明:資料儲存方式

範例

(1)資料表

(2)CSV(Comma-Separated Values,CSV,逗號分隔值,有時也稱為字元分隔值)

(3)JSON值

資料引用:108課綱高中資科科友出版社

B.資料前處理(以食譜為例)

Data (資料)

Data Cleaning(資料清理)

 

Text and Categorical attributes(文本及分類屬性)

Feature Scaling(特徵縮放)

Transformation pipelines(轉換管道)

小結


"做出完美食譜菜的關鍵在於選擇合適的食材!"

補充說明:

資料是資料科學中的基礎,要有好的資料,才能產生好的資料價值。在實務中,資料會有資料缺失(Imcomplete/Missing data)、雜訊(Noise)、離異值等等的問題。

資料前處理泛指的是在分析演算法之前,先對資料進行處理,讓資料在格式上比較標準一致。為的是讓演算法不會因為資料產生的瑕疵而誤判

資料整合是為了解決多重資料來源的整合問題。

異常缺失範例

資料引用:108課綱高中資科科友出版社


資料處理(Data Process)概念與方法評量(統計圖表識讀)

題目:這是一個資料爆炸的時代.現在正在疫情中高峰期.網路上有很不一定正確的資訊在流傳.我們學習了資訊科技課程三年.也具備了資料處理的概念及方法(資訊科技工具-試算表)

"打COVID-19疫苗也沒用,還是會染疫"

請根據以下的資訊統計圖表寫出你的想法


資訊科技對人類生活之影響

1.資訊科技對各行各業的影響

資訊經濟-電子商務.支付工具(無現金化)金融科技.群眾募資....等

生涯議題-無人商店(工作型態改變).智慧製造(機器人)工業4,0-AI.物聯網.巨量資料.雲端運算...等

資訊科技帶來正面效應

(1)實踐資訊(或知識)的充份告知和共享、消除知識(或資訊)貧富的鴻溝

(2)改善教育、節省資源、改善生活品質

(3)發展充分參與式的民主

(4)讓精緻文化與藝術溶入大眾生活之中

資訊科技帶來負面效應

(1) 資訊科技的運用,加重了使用者的倫理道德責任

(2) 資訊科技引發新的倫理道德問題: 可分成「專業倫理」與「社會倫理」

(3) 資訊科技衝擊固有的價值觀  


常見資訊產業(IT)的特性與種類

1.特性

資訊產業又稱IT業、電腦工業,為一切與電腦相關的軟硬體行業總稱,有硬體製造的類似傳統工業模式也有軟體撰寫和客戶服務的服務業,自從90年代電腦革命後資訊業成為獲利豐厚的行業製造出許多世界首富,諸多國家也將資訊業設定為重點發展項目,資訊業的特性是競爭快、產品生命週期短、人才水準要求高、投入資本金額門檻高。

資訊軟硬體產業之發展,在我國經濟扮演重要角色. 過去,我國硬體 ... 具有高附加價值率盈餘率勞動報酬等特性,此產業投入貢獻將與經濟成長. 有高度關聯

https://zh.wikipedia.org/wiki/%E8%B3%87%E8%A8%8A%E6%A5%AD

https://www.facebook.com/search/top?q=ivendor%E7%A7%91%E6%8A%80%E8%81%AF%E7%9B%9F

https://kopu.chat/2017/04/29/kopuchat/#comment-3407

2.資訊科技相關職業種類

3.未來資訊產業發展趨勢

1.滿足個別化需求的彈性設計(虛擬實境復健系統)

2.科技產品的擬人化(醫學用機器人)

3.微小化與低耗能化(奈米電池)

4.更快速的運算能力(量子電腦)

5.更巨大的資料革命(5G行動通訊系統)

6.更具人工智慧的解決方式(機器學習演算法)

實作4-資訊產業(IT)相關生涯發展

思考問題4:你覺得資訊科技課(電腦課)對於以後你想從事的工作重要嗎?寫出你的想法

補充資料:半導體產業