雲端運算-超大資料的處理與分析

技術簡介

地理資訊泛指跟空間有關的所有事物,可以想像它有多麼龐大。而有些地理資訊需要長時間觀測其變化與現象,因此累積了令人無法想像的巨量資料。傳統的關聯式資料庫已經無法負荷這種動輒數百億筆的資料,更遑論能夠提供研究者或決策者高品質的分析服務。雲端運算中的分散式處理,就是為了解決超大資料的處理與分析,簡單地說,就是充分利用網路連結發揮眾多電腦的運算能力來協助特定主題進行儲存、分析、運算的一種技術。

應用領域

  • 觀測站之研究機構、政府單位(如:美國國家航空及太空總署(NASA)、美國海洋暨大氣總署(NOAA)、我國國家太空中心(NSPO)、日本宇宙航空探測機構等(JAXA))
  • 歷史悠久之政府組織或民間機構(如:水利署、紐約時報)
  • 遙測影像分析(如本中心與日本社團法人產業技術總合研究所(AIST)及泰國亞洲理工學院(AIT)合作進行的探月衛星(SELENE)多光譜影像研究)

應用效益

  • 協助防救災觀測系統之超大資料儲存、管理與分析
  • 進行衛星影像或其他設備之資料儲存、管理並加速其分析
  • 有效管理政府及企業文件

聯絡窗口

電話:04-24516669#501 | 聯絡人:呂小姐

KAGUYA(SELENE)

SELENE衛星於2007年發射升空,主要蒐集月球表面之地形以及光譜反應,以分析月球地質並嘗試尋找月球表面水分存在的證據。KAGUYA總共繞行月球七千次,累計產生超過1千億筆探測資料,總資料量約達2TB,已無法使用傳統商用關聯式資料庫儲存管理。

SELENE探測資料展示平台

本平台以GOOGLE EARTH 展示超過1千億筆月球光譜資料,使得一般研究太空地質的專家亦可以在大眾的平台上瀏覽。

使用Hadoop雲端平台以及HBase分散式資料庫進行SELENE資料雲之建置

  • 合作客戶:台塑貨運公司
  • 專案實績:台塑貨運公司客戶管理系統

天眼運輸管理系統

台塑貨運公司自2001年啟用天眼運輸管理系統,已累積數百億筆行車紀錄資料,堪稱全國最大之行車資料庫。惟因傳統商用關聯式資料庫已無法承載每天上千萬筆之資料量,超過三個月以上的行車紀錄必須以磁性媒體另外保存,使得客戶調度三個月或更久之前的行車紀錄較為不便,也降低了客戶服務品質。

Hadoop雲端資料平台及HBase分散式資料庫儲存管理行車資料

目前台塑貨運使用此平台匯入了約一百億筆歷史行車資料,在非常少的硬體投資下獲得極高的成效,線上查詢任何一筆歷史行車紀錄的時間均少於1秒,較過去人工作業效能提升了廿六萬倍,而這些歷史的行車軌跡更能夠作為路段旅行時間推估的參考。