回到首頁
個人.家庭.數位化 - 數位之牆



產業動態 資策會「網路爬蟲與巨量資料流處理實務班」(台北10/15)
財團法人資訊工業策進會 本新聞稿發佈於2016/10/02,由發布之企業承擔內容之立場與責任,與本站無關

本課程將由琢磨於資料的生、流、存、算環節,透過OpenSource進行網路資料擷取,進而如何使用巨量資料流處理技術(Kafka與Spark Streaming)來結構化與處理所取得的資料流。本課程將以實機實戰的方式,讓每位學員都能自行撰寫相關程式,並可在過程中了解各種可能面臨的狀況,增進學習效果,激盪出許多解決方案。

 
■ 發布/輪播新聞稿 新聞稿直達14萬電子報訂戶刊登新聞稿:按此
 
本課程教導學員能透過開源Library從網站、社群媒體、裝置獲取資訊,並能將非結構化資料轉換為結構化資料,交由Kafka訊息管理系統做統一管理,接著利用Spark Streaming進行大數據流的即時運算,並將結果予以應用。課程設計能使學員親身體驗資料串流的處理,並能從體驗中遭遇的問題,學習更多解決方案,加倍學習之效果。
  資策會「網路爬蟲與巨量資料流處理實務班」將於2016年10月15日開辦,相關資訊請參閱課程網頁,或電(02)6631-6533,黃小姐。

課程大綱:
1.課程環境準備:課程VM環境準備與設定

2.資料流獲取
2.1 網頁爬蟲實戰技術
2.2 網頁結構化解析技術
2.3 社群媒體資料擷取技術(Facebook、Ptt、Mobile01等實作)
2.4 Socket 資料流獲取技術(網路層基礎Socket Server實作)

3.Spark 技術回顧:Spark Batch處理技術

4.Kafka與Spark Streaming技術實作
4.1 Spark Streaming DStream 方法介紹與實作
4.2 Kafka 訊息管理系統介紹與實作
4.3 Spark Streaming資料流與Kafka介接技術

5.綜合實戰練習
5.1 開源中文斷詞Library使用
5.2 PTT八卦版即時關鍵字訊息流獲取系統實作

詳細內容請參考課程網址:http://www.iiiedu.org.tw/ites/NBS.htm

- 新聞稿有效日期,至2016/10/15為止


聯絡人 :黃小姐
聯絡電話:(02)6631-6533
電子郵件:julie620@iii.org.tw

上一篇:五龍首發營運數據 成績理想
下一篇:資策會「軟體架構師技能培訓-Java為例」(台北10/22)



 
搜尋本站


最新科技評論

我在中國工作的日子(十四)阿里巴巴敢給股票 - 2023/07/02

我在中國工作的日子(十三)上億會員怎麼管理 - 2023/06/25

我在中國工作的日子(十二)最好的公司支付寶 - 2023/06/18

我在中國工作的日子(十一)兩個女人一個男人 - 2023/06/11

我在中國工作的日子(十)千團大戰影音帶貨 - 2023/06/04

我在中國工作的日子(九)電視購物轉型電商 - 2023/05/28

我在中國工作的日子(八)那些從台灣來的人 - 2023/05/21

我在中國工作的日子(七)嘉丰資本擦身而過 - 2023/05/14

我在中國工作的日子(六)跟阿福有關的人們 - 2023/05/07

■ 訂閱每日更新產業動態
RSS
RSS

當月產業動態

Information

 

 


個人.家庭.數位化 - 數位之牆

欲引用本站圖文,請先取得授權。本站保留一切權利 ©Copyright 2023, DigitalWall.COM. All Rights Reserved.
Question ? Please mail to service@digitalwall.com

歡迎與本站連結!