首页  /   联系我们  /   人才招聘  /   正文

大数据工程师

2019-10-23 18:57:10 来源:

工作内容:

1.大数据平台数据收集、数据清洗和数据载入的脚本或程序开发

2.带领实习生或初级工程师实现大数据开发工作

3.归纳、总结和描述项目技术的相关内容



技术要求:

1.统招本科学历,计算机相关专业毕业;

2.熟悉常见关系型数据库,精通SQL语句;

3.熟悉Hadoop平台架构,有Hadoop、HBase、MapReduce、Hive、Spark、Flume、Strom等使用经验,熟悉大数据相关组件搭建、应用、优化;

4.熟悉Python编程,能够进行数据接口、数据源对接,完成数据采集、加工、清洗、转换、存储等工作,熟悉爬虫技术;

5.熟悉ETL工具的构建和维护

6.熟悉数据分析和挖掘,掌握统计、特征、分布、分类、聚类、回归等常用方法

7.熟悉数据可视化技术,能够使用matplotlib、echarts实现数据结果的可视化展示

8.熟悉Linux/Shell、Git等开发工具

9.善于沟通,能够充分表达对项目和技术的理解

10.热爱钻研,对技术学习有不断的热情