108年新南向學海築夢計畫-泰國實習-資管系邱同學

活動名稱：108年新南向學海築夢計畫-泰國實習
國外實習國家城市：泰國曼谷

一、緣起

近年來，台灣政府正積極推動新南向政策，希望能透過東協之龐大的貿易商機，恢復台灣的經濟成長率。
在新南向政策下，教育部則是推出新南向人才培育計畫，這項計畫下的推動主軸包含以下：

提供產業南向佈局優秀人才，並加強人才培育與產業鏈結
培育新住民子女，厚植與新南向國家友善社會資本
協助大專校院拓展國際鏈結，提升高等教育國際化
促成新南向國家優秀學生畢業留台工作，強化產業人力
深化與新南向國家青年、體育及科普教育雙向合作關係

由於資訊的技術與知識日新月異，一昧地待在學校閉關實驗，並不是一個實務的作法；而本系實習之目的，即在於藉由海外實習，獲得第一線之工作經驗。
泰國擁有獨特的佛教建築風格、美食小吃、傳統文化及熱帶小島等觀光資源，讓泰國成為世界各國的旅遊勝地。如今的泰國，不僅藉由觀光開創許多產業的商機，也成了東協第2大經濟體及各國投資東協的熱門國家。泰國受佛教耳濡目染，民風純樸善良，社會秩序和諧，無論生活飲食、稅務、勞工法規與我國類似，加上獎勵投資措施及高經商便利度，而成為臺商海外拓銷的熱門國家之一。泰國同時也是在中南半島上一個重要的物流中心，近年來致力於推動發展東西南北的「十字經濟走廊」。因此，在東協的供應鏈上，扮演重要的角色。目前，泰國政府推出7年投資促進策略，優先發展高科技創意、知識密集產業，重視研發及人才培育，針對目標產業及高附加產品給予投資優惠。日商在汽車製造業的發展積極布局，使泰國成為「亞洲底特律」，也形成完整的供應鏈及產業聚落，吸引不少臺商進駐。
本計畫擬與「泰國KMUTT BX at KX」進行合作，計畫之執行將可縮短資管系學生地業後投入職場工作之磨合期。
經由本計畫之實習及實習期間，除了實習之學生更加理解資訊產業的市場需求，也可增加國際交流了解彼此國家文化，提供學生日後職涯發展之實質助益。

二、國外實習機構簡介 ─ SIT, KMUTT

School of Information Technology, SIT(資訊科技學系)，有學士班主修電腦科學、博士班主修資訊科技及電腦科學，在學士班方面，強調許多計算領域，如電腦科學理論，軟件開發，數據庫系統，網絡系統，科學和組織問題編程以及開發大規模軟件應用程序。此外，培訓學生使用分析技能從不同角度解決問題，並開發能夠應對不斷變化的世界的軟件。在博士班方面，強調在創建SIT“五P”理念中明確規定的誠信研究人員：即時行動，守時，專業，毅力和原則，並能滿足計算機科學行業的要求。此外，該計劃旨在通過強調深入研究和最大潛力資源的使用，發現國家發展的新見解和學術成就。

圖一、學校部分外觀

三、國外實習企業或機構之學習心得

這是我第二次到泰國，第一次來泰國，我是以遊客的身分到這裡，那時候是我大學的畢業旅行，而這一次我的角色非常的特別，是以交換學生的身分過去泰國。

在教育部新南向計畫審核通過之後，我們便開始與校方密切的聯繫，包含基本資料的準備、住宿安排以及行程的規劃，對我來說這實在是一個非常難得的機會，可以到北曼谷國王科技大學去實習。

第一天，我的幾位好朋友就帶著我認識新環境，教我如何從家裡搭車到學校、帶我去校內的各個景點參觀及介紹，包含學校的行政辦事處、學生餐廳，運動場，以及最重要的我的實習場所。

在辦好學生證之後，我已經準備好在實驗室開始我的研究了。

圖二、KMUTT導覽圖

一踏進校門口，走一小段距離，在右手邊就可以看見一片大池塘還有寬廣的草地，非常美麗。此時距離我的系館還有2到3分鐘的路程，但是其實走起路來非常輕鬆，路程也不會太遠。

可能是因為這裡的路都是平坦的，沒有像是山坡地一樣的高低起伏，走在人行道上也有專屬的遮陽板，即使在這個四季如夏的曼谷市裡面，也絲毫不會感到悶熱。

圖三、KMUTT擁有寬廣的草地及池塘

隨著朋友帶我簡單的認識校園後，很快的我們抵達系館前了，School of Information Technology (SIT)，在這裡他們稱為資訊科學系，與我就讀的資訊管理學系有些相似，我詢問朋友後，發現大部分的課程是一樣的，也有企業管理、程式設計…等等，多門核心課程。

學生在入學後也可以選擇要主修哪一個方向的課程，有資訊科技、電腦科學或數位創新服務。這一點與我們系上的學分學程到還有些相似呢。

進入系館後，我們可以看到一樓大部分的空間都是學生活動的地方，除了教室外，學生可以自由在實驗室內做任何事，不管是開小組會議、聊天、休息、做功課，也時常看到學生在玩桌遊，甚至是乒乓球。

其餘的空間則是教室，而每間教室都有個人的電腦設備，令我印象深刻的是四間教室同時上同一門課程，而教師只要在其中一間教室裡利用投影機及廣播設備就可以達到同時間串流到每間教室的效果，可以一次百位學生上課。

到了二樓，我們可以看到系辦公室及教師辦公室，旁邊還有一間圖書館，也就是我最常待的地方，如圖四所示，通常學生會在裡面小組討論、讀書或與教師的會議。而我每天也從早上9點開始做研究到下午5點。

圖四、SIT系館前

圖五、SIT二樓圖書館

圖六、電腦教室I

圖七、電腦教室II

圖八、碩士生實驗室

進入到二樓系館圖書館時首先需要使用學生證可以通行，進去之後有很多的桌椅及白板皆可以任意使用，學生們時常在裡面討論著自己的功課，也與教授共同會議。

圖九、圖書館所擺設的桌椅及白板

圖十、與主任、教授及實習夥伴合照

在系上無論是學生、職員或教授等等都待人親切，一開始系辦的助理 P' nui 就很熱情的招待我們，帶我們認識系上，接著就帶我們去見這一次負責指導我們的教授 Asst . Prof . Dr. Chonlameth Arpnikanondt 與 Dr. Tuul Triyaso，兩位教授也都非常的有耐心，即使與我們所做研究的方向是不同領域，但是每一次會議都給我們不少的建議及方向。

目前我的研究方向是語音情感識別(SER)，語音情感識別是語音信號的識別，用於從音頻中提取情感。在我們的日常生活中，如果情感識別可以數位化，它將為生活帶來更多便利，例如:將客戶服務帶入AI系統。

所以我想知道是否有帶麥克風的設備，然後通過任何機器學習方法，可以輕鬆地用於檢測語音情感。

在做研究的過程當中，有幾個方法想試試，利用現在最熱們的深度學習的技術來實作，我使用的訓練模型是Convolutional Neural + Long Short-term Memory ，因為CNN目前擁有良好的特徵擷取的能力，而LSTM可以有效的處理時間序列的資料。

那在訓練資料集選擇的部分，教授則是建議我尋找英文的公開資料，而我選擇的是在機器學習競賽平台Kaggle上公開的Surrey Audio-Visual Expressed Emotion (SAVEE)，由四位研究生藉由專業設備所錄製，一共有7種情緒類別，分別是生氣、高興、難過、害怕、驚訝、厭惡及中性。

在實驗開始時我選用了三種方法去比較，第一項是將聲音經由梅爾倒頻譜的轉換後得到梅爾倒頻譜係數，第二項是使用eGeMaps參數集來獲取特徵值，最後一種則是使用原始的聲音資料直接做訓練。

圖十一、中性情緒頻譜圖

圖十二、生氣情緒頻譜圖

圖十三、厭惡情緒頻譜圖

圖十四、驚訝情緒頻譜圖

圖十五、高興情緒頻譜圖

圖十六、難過情緒頻譜圖

圖十七、害怕情緒頻譜圖

以上7張情緒圖是我透過python繪製出來的，可以看到其實單看聲音波型是很難直接去分辨情緒的，下面兩張圖分別是提取梅爾倒頻譜系數及eGeMAPs特徵，那以上這些數據將會透過機器學習模型來得到一個情緒非分類的結果。

圖十八、梅爾倒頻譜係數

圖十九、eGeMAPs特徵

圖二十、利用MFCC所訓練之結果

圖二十一、利用eGeMAPs所訓練之結果

圖二十二、使用16khz原始聲音檔直接做訓練

圖二十三、使用44.1khz原始聲音檔直接做訓練

在實作的過程中也並不是都那麼的順利，雖然這些想法是在看過別人的論文後實作，但是我對這些工具或技術的使用卻也不是那麼的專精，在前幾週並沒有太多的產出，隨著時間的推移，以及不斷的學習及研究程式碼之後，終於成功建立好自己的模型。

圖二十四、各方法比較結果

在上圖的比較表中，我們可以看到用MFCC特徵的準確度是最好的，那其實這樣的結果下來，並沒有達到我預期結果，因為表中使用原始聲音檔的訓練結果不盡人意，後來經過一些測試後，發現可能是我在資料預處理這邊的知識還不夠導致訊列出來的結果很差，像是44.1khz秒鐘的聲音，在記憶體裡面還是占有極大的空間，在訓練模型時需要一次載入較多的聲音檔，除了會導致記憶體不足外，也會導致運算時間過久，即使我後來降到16khz也是一樣的結果。