岗位职责 1. 负责搭建基于Hadoop/Spark的大数据平台，负责数据架构设计及前端数据应用开发工作； 2. 理解系统的业务需求，制定系统的整体技术框架、业务框架和系统架构； 3. 负责给产品开发、实施、运维团队提供技术保障； 4. 负责对系统的重用、扩展、安全、性能、伸缩性、简洁等做系统级的把握； 5. 对系统框架相关技术和业务进行培训，指导开发人员开发，解决系统开发、运行中出现的各种问题。 任职资格 1.全日制硕士研究生及以上；年龄40周岁及以下 2.从事大数据平台开发建设工作4年以上 3.熟悉大数据平台搭建技术栈，能够熟练搭建完整大数据平台 4.熟练使用apache hadoop生态体系相关技术(zookeeper、Hadoop、Hbase、hive、Spark等组件),及MongoDB、mysql等常用数据库，能够部署、二次封装和性能调优 5.熟练使用flume、sqoop、kettle、kafka和Elasticsearch等主流的数据整合、信息索引技术和工具 6.熟练使用java、python、scala等编程语言，熟练操作linux系统，具备上述工具在linux下的部署实施经验