大数据开发工程师的具体职责1 职责: 1、负责公司大数据*台数据处理工具ETL、流处理*台等建设,功能规划,*台演进,维护调优等; 2、结合公司业务特征,负责公司数据仓库规划、数据仓库建设、数下面是小编为大家整理的大数据开发工程师具体职责3篇(范文推荐),供大家参考。
大数据开发工程师的具体职责1
职责:
1、 负责公司大数据*台数据处理工具ETL、流处理*台等建设,功能规划,*台演进,维护调优等;
2、 结合公司业务特征,负责公司数据仓库规划、数据仓库建设、数仓管理等;
3、 负责大数据处理技术研究及新技术引进,参与超大规模实时/离线数据计算框架,存储、查询、可视化解决方案的设计,研发;
4、 负责公司业务数据仓库模型建设及全业务数据域打通;
5、 负责BI报表和可视化项目,和客户深度沟通,理解客户的业务挑战,提供解决方案,制定开发计划并执行,支持各单位日常数据需求和任务;
任职资格:
1、 熟练掌握关系型数据库,例如:Oracle、Mysql、Vertica等;熟悉NoSql数据库,例如HBase、Redis、MongodDB等;具备丰富的数据库管理和运维调优经验;
2、 熟悉数据仓库领域知识和技能者优先,包括但不局限于:元数据管理、数据开发测试工具与方法、数据质量、主数据管理,数据打通等;
3、 有从事分布式数据存储与计算*台应用开发经验,熟悉Hadoop生态相关技术并有相关实践经验着优先,如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;
4、 精通数据预处理、检验、清洗、分析方法,精通各种常用统计检验方法;熟练掌握一门或多门编程语言,并有大型项目建设经验者优先,如Java、Python、Shell和scala等;
5、精通Linux,熟悉日常运维、搭建常见服务器、定位解决日常问题的能力,具备ETL开发经验优先;
6、 良好的语言沟通与表达能力,有丰富的数据开发经验,较强的数据、*台、技术理解能力;
7、 具备数学类、计算机类等相关专业统招本科及以上学历,具有3年及以上大数据开发工作经验,有互联网行业背景优先。
大数据开发工程师的具体职责2
职责
1. 负责大数据分析需求设计和开发工作,包括数据存储、预处理、查询、统计、实时分析、数据优化及配置等功能;
2. 对大数据分析系统存在的问题进行跟踪和定位并及时解决;
3. 负责上级交办的其他相关工作。
岗位要求:
1. 本科以上学历,2年以上工作经验;
2. Java基础扎实,熟练使用Java IDE 进行代码编写和调试,熟悉JUnit单元测试框架;
3. 熟悉Linux操作系统,能在Linux上完成开发、调试工作;
4. 熟悉网络IO、多线程并发编程、集合等基础框架,精通数据结构和数据算法;
5. 参与过分布式高性能服务的设计开发过程,有大规模分布式系统的实践经验;
6. 熟悉数据库操作和使用的基本技能,熟练一种关系型数据库的使用;
7. 能独立编写详细设计文档;
8. 有大数据分析工具Hadoop、spark使用开发经验优先;
9. 具有团队精神与敬业精神,学习钻研能力强,具有良好的协调沟通能力。
大数据开发工程师的具体职责3
职责:
1、大数据的分布式采集与环境搭建和测试;
2、大数据存储、处理和分析工作;
3、大数据相关产品线的改进和相关核心开发工作;
4、其他大数据相关工作。
任职要求:
1、本科及以上学历,计算机相关专业;
2、2年以上Java开发及大数据相关开发经验,java基础扎实,熟练掌握多线程、集合、缓存、序列化、nio等技术;
3、熟悉Linux环境,熟悉Linux shell/python/perl任一脚本;
4、熟悉Hadoop、Spark、ZooKeeper等主流的大数据处理架构,并有1年以上Hadoop相关的实际开发、架构及调优经验;
5、使用过阿里云;
6、熟悉架构;
7、具有较好的学习能力、沟通表达能力及团队合作能力。
推荐访问: 职责 工程师 数据 大数据开发工程师具体职责3篇 大数据开发工程师的具体职责1 大数据开发工程师岗位职责 大数据开发工程师岗位要求 大数据开发工程师具体是做什么的