岗位职责：
1、参与数据中台系统的开发、部署、测试、发布及技术支持；
2、负责历史数据的抽取、清洗、转换，并进行分析、挖掘与展示；
3、参与负责大数据存储、管理和分析。

任职要求：
1、计算机或相关专业专科以上学历(2年及以上工作经验)；
2、精通java开发，熟悉使用SpringCloud、SpringBoot、Mybatis、redis、Zookeeper等开发框架和中间件；
3、熟悉Oracle、Mysql、MongoDb、ElasticsSearch等数据库，熟悉Linux命令及shell、python编程；
4、熟悉基于hadoop大数据平台的开发及配置,有海量数据处理和并行计算开发经验，熟练掌握一种或多种Hadoop大数据开源框架或组件，如Hbase、Hive、Spark、Kafka、HDFS等；
5、参与过基于hadoop的大数据项目设计、开发、部署、发布及技术支持经验者优先；
6、具有PB级别的大数据开发经验者优先。

=== hadoop数据开发工程师的职位描述（岗位职责/任职要求） ===

岗位职责：
1、基于业务需求和应用场景，设计和实现相关大数据相关产品的研发；
2、负责采集数据抽取和处理的相关设计，开发，优化数据接入、数据存储、数据计算服务框架；
3、为公司业务线提供数据支持和服务。

任职要求：
1、熟悉Hadoop生态圈大数据技术主要包括Spark，Storm，Hbase, Kafka, Hive, HDFS, YARN, Redis；
2、熟练运用SQL，有一定的SQL性能调优经验；
3、具有工程建设业务背景或大数据、微服务、云计算经验和能力者优先考虑；
4、具备3-5年相关工作经验。

=== hadoop数据开发工程师的职位描述（岗位职责/任职要求） ===

岗位职责：
1、根据业务规划，制定技术规划和相关的架构方案；
2、解决重要项目中的关键架构问题和技术难题；
3、负责项目中关键技术难点的攻关和预研；
4、制定设计及实现规范，指导和推动设计、实现及部署工作；
5、熟悉数据安全领域的前沿技术，结合实际业务场景，基于新技术解决安全问题；

任职要求：
1、计算机相关专业，具备良好的沟通能力、逻辑思维能力强、善于团队协作、有强烈的责任心；
2、具有高可用、高性能、高并发、大容量、可扩展系统的架构设计实际经验；
3、参与运营商、金融、证券等业务系统架构和海量数据处理及架构设计经验；
4、熟悉hadoop生态系统(hdfs、hive、spark、flink、zookeeper、yarn等)，具有python、MapReduce开发经验，能辅助团队进行大数据的技术方案选型；
5、精通flume、kafka、redis、presto、elasticsearch等实时系统处理中间件一种或者几种， 熟悉ETL、BI、数据分析方法、机器学习、数据挖掘经验者优先；
6、优先录用要求：具有信息安全相关认证证书，如CISSP、CISP、CCNA和项目经理证书者优先；熟悉信息安全体系建设、信息安全管理、网络安全风险评估并有相关经验者优先；研究生以上学历；有深厚的JAVA经验，至少4年开发经验或架构设计经验。

=== hadoop数据开发工程师的职位描述（岗位职责/任职要求） ===

岗位职责：
1、负责基于Hadoop/Spark平台架构的开发、设计和布局；
2、完成系统框架的设计和核心代码的编写；
3、针对海量的用户行为数据进行统计、分析与挖掘，不断提高系统运行效率；
4、负责对数据进行分析，为项目组提供大数据技术指导及分析手段支撑；
5、负责大数据平台的性能监控和持续优化；针对需求提供大数据分析技术解决方案；
6、大数据平台的运维工作，持续完善大数据平台，保证稳定性、安全性。

任职要求：
1、3年互联网行业开发经验，计算机或相关专业本科以上学历；
2、精通Hadoop大数据平台架构，具有扎实的Java/Python等开发语言；并可以开发高效可靠的代码；
3、具有较强的数据分析、数据挖掘的能力；
4、熟悉spark、Hive、storm等计算框架者优先，对分布式存储和计算原理有较深的理解；
5、严密的数学思维、突出的分析和归纳能力、优秀的沟通表达能；
6、个性开朗，对技术钻研好学、逻辑思维能力强，沟通能力优秀，有团队合作精神。

=== hadoop数据开发工程师的职位描述（岗位职责/任职要求） ===

岗位职责：
1、支持Hadoop集群底座的运维故障分析、解决、性能优化；大数据集相关组件主要包括：Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维；
2、开展Yarn性能优化，提升集群资源利用率和任务响应速度；队列优化和维护；优化调度器性能；
3、及时关注Apache官方网站、论坛，针对Patch提出升级建议、方案，并组织实施；
4、配合开展HDFS存储、Hive元数据治理优化，建立并完善存储治理方案；
5、配合开展Hive、Spark作业优化，对业务侧提出优化建议。如：作业小文件问题、数据倾斜治理方案等；
6、提出集群优化建设方案，配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。

任职要求：
1、本科及以上学历，通信/计算机等相关专业，具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力；
2、熟悉Hadoop、Hive、Hbase、Spark等开源项目，理解组件架构及原理；
3、对大数据运维开发有浓厚兴趣，熟悉Apache Hadoop部署、性能调优；
4、能阅读/理解Hadoop等相关开源组件源码；
5、对HQL、SparkSQL等有较深入的研究，能解决实际业务性能问题；
6、熟练掌握LDAP、Kerberos等安全认证体系；
7、熟练掌握Linux命令与工具进行问题定位，熟悉常规的互联网技术架构；
8、具备一定的Java开发能力；
9、擅长Linux Shell、Python脚本编写，有DevOPS/自动化运维经验工作者优先考虑。

=== hadoop数据开发工程师的职位描述（岗位职责/任职要求） ===

岗位职责：
1、负责EB级海量数据存储和亿级任务调度的Hadoop及其周边生态的规划和建设，主导近万台集群规模的跨机房架构与落地，实现在离线混部、存算分离、云化等技术方向创新应用，打造稳定高效的新一代大数据平台；
2、负责跨机房、在离线混部、存算分离、云化等架构设计、技术选型、技术难点攻关；
3、带领团队对Hadoop及其周边生态进行定制开发；
4、负责大规模Hadoop集群的深度性能优化；
5、参与社区互动，积极引进社区重大特性和改进并反哺社区提升影响力。

任职要求：
1、具备扎实的计算机理论基础， 对数据结构及算法有较强的功底；
2、精通Java语言编程，具备优秀的系统Debug/Profiling能力和经验，熟悉常见的面向对象设计模式，具备优秀的系统架构设计能力；
3、精通多线程编程，有分布式开发经验者优先；
4、精通HDFS/Yarn的架构和原理，有大规模集群定制开发和优化经验；
5、熟悉Hadoop周边Hbase、Hive、Spark等大数据开源组件；
6、熟悉Kubernetes者优先，有参与开源社区的经验优先。

=== hadoop数据开发工程师的职位描述（岗位职责/任职要求） ===

岗位职责：
1、负责海量数据的抽取、解析、转换和存储，实现财务自动化账务集成；
2、基于hadoop 、spark等进行数据离线统计和实时计算，建设数据统计分析模型 ；
3、不断调优代码，优化数据链路，提升集成效率；
4、探索并通过低代码、平台化建设，提升集成平台整体能力。

任职要求：
1、具备大数据离线\实时经验，精通大数据离线和实时主流技术,熟悉Hadoop、HBase，有MR、SPARK开发经验；
2、熟悉Kafka，redis，spark等实时处理组件，有实际使用经验。具备快速trouble shooting能力；
3、熟悉分布式数据仓库，熟悉ETL流程和规范，熟练掌握Python脚本语言；
4、有良好表达能力和团队合作精神、乐于寻求挑战和突破自我；
5、本科及以上学历，2年以上工作经验。

=== hadoop数据开发工程师的职位描述（岗位职责/任职要求） ===

岗位职责：
1、基于大数据平台的海量数据、负责地图业务相关数据挖掘技术及核心算法研究；
2、协助数据挖掘分析体系的建设、并建立和规范数据挖掘模型标准；
3、协助团队做好数据和应用的对接、完成项目的执行及交付；

任职要求：
1、计算机、数学或相关专业本科及以上学历；
2、熟悉Hadoop、Hive、Spark等大数据处理平台者优先；
3、具备团队合作意识和创新意识、具有较强的学习能力和解决问题的能力、喜欢研究算法和新技术者优先。

=== hadoop数据开发工程师的职位描述（岗位职责/任职要求） ===

岗位职责：
1、负责数据中台融合建设，相关系统架构设计，资源环境规划；
2、负责大规模集群管理、架构优化、资源优化；
3、负责部分平台服务接口的设计&研发、标准&规范制定。

任职要求：
1、本科以上、计算机相关专业；五年以上大数据研发经验；
2、熟悉开源主流大数据技术，如Hadoop、Spark、Hive、Tez、Presto、Hbase等；
3、Java/Scala编程背景，有丰富的进程间通信\高并发\多线程等研发经验；
4、熟悉Linux等底层操作系统、能独立管理快速搭建大数据相关运行环境；
5、有大规模集群管理、运维、优化迁移者优先；
6、参与Apache开源社区技术共建，有源码贡献者优先。

=== hadoop数据开发工程师的职位描述（岗位职责/任职要求） ===

岗位职责：
1、基于公司业务逻辑，负责数据流、数据处理流程详细设计、实施与运维；
2、参与公司数据治理体系的搭建，负责具体实施与运维；
3、负责大数据开发相关工具的选型、设计及实施。

任职要求：
1、本科及以上学历，计算机、信息管理等相关专业；
2、3年及以上数据库的数据处理、分析工作经验，精通大数据Hadoop体系的相关技术：Spark，Hive，HBase，impala/presto，Spark Streaming/Flink，Redis，Kafka，Kylin，Druid等；
3、熟悉数据仓库，熟悉Linux操作系统，Shell编程等，熟悉JAVA/Scala编程，有python经验可加分；
4、良好的团队协作能力、沟通能力、独立解决问题能力。