第3个回答 2020-10-16
大数据开发是一个复杂的IT系统,需要学会Hadoop等分布式系统的开发技能。
1.1采集层:Sqoop可用来采集导入传统关系型数据库的数据、Flume对于日志型数据采集是非常适用的,另外使用Python一类的语言开发网络爬虫获取网络数据;
1.2储存层:分布式文件系统HDFS最为常用;
1.3计算层:有不同的计算框架可以选择,常见的如MapReduce、Spark等,一般来讲,如果能使用计算框架的“原生语言”,运算效率会最高(MapReduce的原生支持Java,而Spark原生支持Scala);
1.4应用层:包括结果数据的可视化、交互界面开发以及应用管理工具的开发等,更多的用到Java、Python等通用IT开发前端、后端的能力.cda课程比较完善,有大数据技术,也有大数据分析.