什么是大数据技术专业_大数据技术的定义和特点

大数据 (77) 2023-03-24 20:10

大家好,我是编程小6,很高兴遇见你,有问题可以及时留言哦。

大数据技术的目的就是为了应对业务环境(生活或生产)中第一时间产生的大量或海量数据,可能是一天几个亿甚至几十亿的数据,要对这些数据进行结构化处理,既能大吞吐量的写入存储,还能快速的查询到存储的结构,既要均衡的分布这些数据,还能对出现问故障的节点,快速进行恢复,既能保证系统在分布式环境下具有良好的可用性,在某些情况下还要保证数据的一致性(接近),既要能快速的调用业务规则,实现数据驱动下的实时处理,还能对成百上千台存储了N多个PT数据集的并行分析,提供算力最大化的数据处理架构。

那大数据开发呢,实际上分两种:第一类是编写一些Hadoop、Spark的应用程序,第二类是对大数据处理系统本身进行开发。第二类工作的话通常才大公司里才有,一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些,也更有技术含量。接下来来开始拆分大数据开发,这些都是基础要掌握的内容

  • 01 Python基础:语法· Python数据处理· 函数· 文件读写· 异常处理· 模块和包
  • 02 Python进阶:面向对象· 网络编程· 多任务编程· 高级语法· Python编程综合项目
  • 03 SQL基础: MySQL与SQL· Kettle与BI工具· Pymysql
  • 04 ETL基础: ETL概念与工具· Python ETL实战· BI
  • 05 Hadoop技术栈 :Linux· 大数据基础和硬件介绍· Zookeeper· HDFS· MapReduce· YARN· Hive基础· Hive高阶
  • 06 Spark技术栈 : Pandas基础· Pandas数据处理实战· Spark基础· Spark Core· Spark SQL· SparkSQL案例· Kafka· Elasticsearch
  • 07 Flink技术栈 : Flink Core· Flink DataStream· Flink SQL· Flink Runtime· Flink高级· Flink电商案例实战

学习资源:2022年黑马python大数据开发学习路线

一、网站

1. 网易公开课 https://http://open.163.com/

2. 腾讯课堂 https://http://ke.qq.com/

3. 中国大学慕课 https://www.http://icourse163.org/

4. B站 https://www.http://bilibili.com/

学习资源非常多,内容系统且全面,重点关注一些专业培训机构上传的学习视频

5. Statista https://www.http://statista.com/

6. CEIC https://www.http://ceicdata.com/en

7. InfoQ-大数据https://www.http://infoq.cn/

二、书籍

1. 《为数据而生》

什么是大数据技术专业_大数据技术的定义和特点_https://bianchenghao6.com/blog_大数据_第1张

这是一部大数据在智慧城市、医疗、教育、金融、商业等领域的实践笔记;更是一部为未来大数据的发展提供有可行性的路径指南!

2. 《R语言预测实战》

什么是大数据技术专业_大数据技术的定义和特点_https://bianchenghao6.com/blog_大数据_第2张

R语言具有上手快、效率高的特点,它横跨金融、生物、医学、互联网等多个领域,主要用于统计、建模及可视化。预测是数据挖掘的主要作用之一,也是大数据时代的核心价值所在。

3. 《Hadoop权威指南》

什么是大数据技术专业_大数据技术的定义和特点_https://bianchenghao6.com/blog_大数据_第3张

本书是Hadoop权威参考,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装与运行Hadoop集群。

发表回复