回到首页
个人.家庭.数字化 - 数位之墙



行业动态 资策会「Big Data数据处理-Spark实作」(高雄10/28)
资策会高雄 本新闻稿发布于2017/09/12,由发布之企业承担内容之立场与责任,与本站无关

资策会高雄将于106年10月28日开办「Big Data数据处理-Spark实作」。课程目标为学员于学习后能具备独立完成Spark的安装、操作与簇建置的能力,在Spark簇上安装、执行Ipython Notebook,集成Spark与Hadoop HDFS读、写的功能,练习RDD、DataFrame、Spark SQL、Spark MLlib ALS推荐等范例,并通过课后测验。

 
■ 发布/轮播新闻稿 新闻稿直达14万电子报订户刊登新闻稿:按此 想在你的Blog上轮播行业动态按此
 


资策会高雄将于106年10月28日开办「Big Data数据处理-Spark实作」。近年来各大企业如Google、Apple、Facebook等,皆已将机器学习应用在日常生活中,举凡:自动驾驶、人脸辨识、语音辨识、各种预测、投资分析、医学、工业等应用,机器学习俨然成为现在及未来市场的显学。机器学习需要仰赖大量数据来完成,然而要处理大数据量就面临到「Big Data的储存」和「Big Data的运算」两大难题。
在2014年的数据排序基准竞赛(Sort Benchmark Competition) 中,Databricks公司使用Spark,在207台的簇中,以23分钟完成 100 TB 的数据排序,刷新了2013年由Yahoo创下的记录(在2,100台的簇中使用MapReduce,花费了72分钟完成),这项成就也让Spark一战成名。

Spark是一个让数据分析更加快速的簇运算引擎,它使用了「内存内运算技术」(In-Memory Computing),能在数据尚未写入硬盘时即在内存内分析运算。Spark并非用来取代Hadoop,而是改进了Hadoop内MapReduce运算引擎,它支持了Hadoop所支持的储存系统,包括HDFS、S3等。但Spark本身没有提供储存的功能,因此在使用上常见利用Spark簇的运算加上Hadoop HDFS分散的储存来处理Big Data进行分析,就可算是完美的结合。

有鉴于此,资策会特规划了「Big Data数据处理-Spark实作」课程,本课程从Spark的手动安装开始,让学员建构出Spark的簇环境,并体验程式在簇上运作的过程,及透过图形介面监看多台簇的运行。课程中将辅以Hadoop虚拟主机,让学员实际体验Spark集成Hadoop HDFS读、写的功能,帮助学员往后在使用或学习数据分析相关语言时,能与Spark顺利接轨。


课程特色
1.本课程理论与实务并重,除了让学员了解Spark技术外,并能自行建构及使用Spark簇。
2.独家采用已建构好的多台Linux + Hadoop虚拟主机环境,让学员实作多台主机的Spark簇架构,在Spark簇上执行程式并透过图形介面监看多台簇的运行。
3.本课程将会学习集成Spark与Hadoop HDFS读、写的功能,安装Ipython Notebook执行在Spark簇上,在Ipython Notebook互动模式中操作RDD、DataFrame、Spark SQL、Spark MLlib ALS推荐等范例。
4.课程采体验式教学方式的实作,只要具些许Linux操作基础,即可经由指令、设定的剪贴从中验证课程所学。

详细课程信息请参阅课程网页,或电(07)969-9885,罗小姐 san5823@iii.org.tw。
【课程网址】:http://www.iiiedu.org.tw/south/Spark.htm

- 新闻稿有效日期,至2017/10/11为止


联络人 :罗小姐
联络电话:(07)969-9885 分机6637
电子邮件:san5823@iii.org.tw

上一篇:红帽发布新Ansible产品,推动企业与网络自动化
下一篇:Adobe Sensei透过设计与人工智能变革品牌邮件

 
搜索本站


最新科技评论

共享经济:以人民的名义争夺流量入口 - 2017/06/18

视频网站的未来(三) PGC孵化IP,直播更接近长尾 - 2016/10/16

视频网站的未来(二)短视频适合往社交和工具发展 - 2016/10/09

视频网站的未来(一)长尾效应与头部效应无法兼顾 - 2016/10/02

大部分O2O 模式违反互联网经济特性 - 2015/02/08

融资是怎么回事(下)什么人能拿到投资 - 2015/01/04

融资是怎么回事(中)读懂投资人的唇语 - 2014/12/21

融资是怎么回事(上)融资是迭代的过程 - 2014/12/14

奢品服务业O2O 兴起,互联网创业者的新机会 - 2014/07/20

■ 订阅每日更新行业动态
RSS
RSS

当月行业动态

Information

 

 

 

 




个人.家庭.数字化 - 数位之墙

欲引用本站图文,请先取得授权。本站保留一切权利 ©Copyright 2008, DigitalWall.COM. All Rights Reserved.
Question ? Please mail to service@digitalwall.com

欢迎与本站链接!