• 写在前面

        本模块内容为我们团队一位优秀的童鞋总结的,分享给各位参加比赛的同学们,如果有感兴趣的同学或者友友,可以微信搜索BI and BME理解更多内容。

         比赛中需要哪些技能,“大数据”这么高大上的比赛,到底怎么破解呢?这次的分享我从赛题的角度来分析比赛所需的技能。我将根据赛题将需要的技能逐渐剖析,便于后面大家更好的准备,有针对的训练。

       我选择的赛题是“2019年安徽省大数据与人工智能竞赛”网络赛(本科组)的试题。

第一部分:大数据平台部署

           根据上面的赛题,我们可以发现,环境的搭建的方法就是【输入Linux命令】,解压安装包,修改配置文件......。因此这一部分对编程没有要求,只要对Linux常用命令有一些了解即可。

第二部分:大数据预处理部分

          根据上面的赛题,我们发现一个新的算法“MapReduce",这是一个基于”Java语言“的算法。算法原理我们需要稍作了解,然后对代码进行一定的摸索即可。因此这一部分需要对Java语言的特性有一定的熟悉。

第三部分:大数据分析

            依旧是“MapReduce”的应用。也是需要对Java语言的特性有一定的熟悉。

           Hive数据仓库的使用。我们可以看到一个熟悉的名词“SQL”。这一部分原理就是SQL语言的应用。运用SQL进行增删改查。因此,这一部分对SQL语言有一定的要求

第四部分:可视化

           Python进行可视化,利用Python进行读取表格绘图,这一部分掌握基本的模式匹配规则以及画图函数即可。因此,此部分对Python语言要有一定的要求。

第五部分 人工智能

        虽说是人工智能也还是一些基本的搭建,虽说是Python平台,但是对语言要求也不高。这一部分可以由前面搭建环境的同学完成。

第六部分:综合题

           综合题部分也是每年所有队伍的头疼问题。这里涉及到一个语言“Scala”。实现Spark技术关键就是“Scala",因此我们要学习这个语言,然后根据代码不断摸索做题。Scala语言结构与Java类似,需要写类,方法,实现运用又与Python类似,结构松散。因此,可以根据队员间的工作量分配来学习此部分内容。

          以上内容就是赛题的基本结构和内容,大家阅读后对比赛内容有了个基本的了解,后面我会推送我推荐的人员分工,以及对内容做进一步总结。

Logo

openvela 操作系统专为 AIoT 领域量身定制,以轻量化、标准兼容、安全性和高度可扩展性为核心特点。openvela 以其卓越的技术优势,已成为众多物联网设备和 AI 硬件的技术首选,涵盖了智能手表、运动手环、智能音箱、耳机、智能家居设备以及机器人等多个领域。

更多推荐