高级数据工程师岗位职责描述(精选30篇)
高级数据工程师岗位职责描述 篇1
1. 参加团队会议与讨论,并给予有意义的建议;
2. 协助后端团队和架构师完成数据库相关的设计与开发;
3. 协助业务部门抓取、分析数据。
高级数据工程师岗位职责描述 篇2
•在行业担任数据工程师或后端工程师超过4年
•您将了解数据仓库的概念(建模,调整,维护)
•您非常精通SQL,并渴望指导和教其他SQL
•您精通Python或任何其他脚本语言和软件开发
•您在分布式数据处理/传统RDBMS / MPP / NoSQL系统和数据建模方面有很强的低估/经验
•您在Spark / Kafka / HBase / Redis / Kettle方面拥有丰富的经验
•您受到探索数据的好奇心和动力的驱动
•您具有处理数据管道的DevOps问题的经验
•对数据驱动业务,关键思想家,问题解决者和自我启动者的热情
•获得认可大学的相关学科的学士学位
高级数据工程师岗位职责描述 篇3
•识别,分析和解决计划支持问题。
•与BU利益相关者合作,确定并优先考虑数据和统计要求,包括要收集的特定数据元素。
•协助开发和实施数据库,数据收集系统/工具,数据分析以及其他优化统计效率和质量的策略(包括确定流程改进以更好地满足业务需求)。
•分析大量数据集,提出有见地的业务建议。
•通过查看报告和绩效指标来确定和纠正数据收集问题,从而确保数据的准确性和完整性。
•识别,分析,解释和建模数据湖中数据的趋势或模式。
•为各种受众设计和生成准确有效的统计数据可视化产品和报告。
•通过促进技术和非技术利益相关者之间的沟通,确保技术团队了解计划和业务工作的短期和长期目标
•准时交付优质,易懂,明确的产品。
•参与构建机器学习策略平台。
•对数据驱动业务,关键思想家,问题解决者和自我启动者的热情
•促进技术和非技术利益相关者之间交流的能力
•出色的书面和口头交流能力。
高级数据工程师岗位职责描述 篇4
1.高质量地完成集团内外各类数据生产集成、数据分析应用建设工作,涉及投研、市场、ERP、全球金融资讯等四个业务领域方向;
2.需求及源系统数据分析,完成数据仓库/EDM等系统数据模型及应用模型设计、数据Mapping规则文档撰写、开发、自测及上线部署;
3. 数据质量稽核、问题分析及处理,优化数据处理程序;
4. 洞察数据、满足业务场景需求。
高级数据工程师岗位职责描述 篇5
1、负责每日的数据仓库运维工作,保障数据的稳定性、一致性等;
2、参与数据仓库的优化设计,如元数据、数据权限、调度优化;
3、负责数据质量和数据标准化的设计与开发;
4、负责满足业务部门的日常业务提数与报表需求的开发。
高级数据工程师岗位职责描述 篇6
工作职责:
1、运用数据挖掘和机器学习方法和技术,深入挖掘和分析海量商业数据
2、包括但不限于风控模型、用户画像、商家画像建模、文本分析和商业预测等
3、运用数据挖掘/统计学习的理论和方法,深入挖掘和分析用户行为,建设用户画像
4、从系统应用的角度,利用数据挖掘/统计学习的理论和方法解决实际问题
任职要求
—计算机、数学,统计学或人工智能等相关专业硕士以上学历,5—10年以上或相关工作经历
—精通1—2种编程语言(Python或Java),熟练掌握常用数据结构和算法,具备比较强的'实战开发能力,能带领团队共同进步。
—具有统计或数据挖掘背景,并对机器学习算法和理论有较深入的研究
—熟悉数据挖掘相关算法(决策树、SVM、聚类、逻辑回归、贝叶斯)
—具有良好的学习能力、时间和流程意识、沟通能力
—熟悉Spark或hadoop生态分布式计算框架
—优秀的沟通能力,有创新精神,乐于接受挑战,能承受工作压力
—有互联网,央企,政务,金融等领域大规模数据挖掘经验者优先
高级数据工程师岗位职责描述 篇7
职责描述:
1、负责poi数据的属性分析、处理和关系挖掘,构建地图领域的知识图谱。
2、负责nlp、数据挖掘、深度学习等方向的前沿算法研发,并结合地图场景优化。
任职要求:
1、计算机、数学或相关专业,三年以上工作经验。
2、熟悉数据结构和算法设计,熟练使用c++、python。
3、熟悉nlp、机器学习、数据挖掘领域的常用算法与工具,对前沿技术保持热情。
4、良好的.分析和解决问题能力,能独立承担研发工作。
5、有地图数据优化工作背景优先。
团队介绍
主要支持北京岗位
对地图(无人驾驶)、广告(广点通)、快报感兴趣的欢迎勾搭
高级数据工程师岗位职责描述 篇8
1、负责数据仓库(HADOOP)ETL工作以及数据运营;
2、负责数据产品的业务需求梳理、数据开发以及维护;
3、负责数据仓库的'维度建模以及设计相关的脚本调度;
4、负责维度模型的数据处理的脚本开发,程序开发以及接口对接。
高级数据工程师岗位职责描述 篇9
岗位职责:
1.从事数学建模及数据挖掘应用方法研究;
2.与开发部门配合实现相应的数据分析模块的开发;
3.制定公司数据可管理体系,建产研究用数据平台。
任职要求:
1.应用数学、统计学、计算机等专业硕士以上学历;
2.具备常用机器学习、数据挖掘相关知识,会spark;
3.具备一种或多种开发语言(如scalapython java等)的.程序和算法开发能力,掌握常用数据结构和算法;
4.有视频、地图、文本、社交等大数据分析能力;
5.有工业数据分析工作经验者优先。
高级数据工程师岗位职责描述 篇10
1.负责直播业务相关数据仓库的数据模型设计;
3.参与数据仓库ETL流程设计、开发和优化,解决ETL过程相关技术问题;
3.参与项目规划,数据采集设计,数据仓库开发,模型开发,报表开发等;
4. 总结数据仓库建模的方法,负责数据产品平台化和系统化;
高级数据工程师岗位职责描述 篇11
1、针对海量用户行为数据进行挖掘和建模,深入挖掘数据的业务价值。研究机器学习或统计学习领域的前沿技术,并能活学活用到项目中。
2、基于对汽车广告投放业务及用户的理解,参与精准营销、个性化推荐等模型建设和领域研究,提升转化率等业务指标。
3、根据业务需要采集相关数据,对原始数据进行ETL和归类整理,并实现流程自动化。
4、其他大数据处理及项目开发工作等。
高级数据工程师岗位职责描述 篇12
1.数据采集系统和分布式爬虫系统的架构设计和开发
2.对接外部数据服务商提供的数据及资讯服务,实现数据的'有效沉淀,建立数据服务评估机制
3.负责大规模文本、图像、视频数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作
4.研究各种目标网站的形态,互联网特征挖掘,发现它们的特点和规律
高级数据工程师岗位职责描述 篇13
1、负责数据仓库的设计、开发、部署、维护和优化;
2、参与公司项目数据库架构设计,及相关文档的撰写;
3、协助开发完成数据库表的设计以及SQL调优,给开发人员提供SQL调优指导;
4、负责数据库技术规范建设。
高级数据工程师岗位职责描述 篇14
1.负责数据分析,数据挖掘相关的算法、应用的设计与开发;
2.负责公司产品各阶段数据的整理、分析、挖掘及提交数据报告,重点对车辆行为数据进行分析和挖掘,利用数据分析结论推动业务产品的优化;
3.对海量业务数据进行整合、分析挖掘,挖掘产品以及用户潜在信息,为营销、运营及决策提供业务分析及数据支持。
高级数据工程师岗位职责描述 篇15
岗位职责:
1、对通信和金融业务数据进行分析和挖掘,满足研发和运营等部门的业务需求和决策需求;
2、能根据业务特点选择最合适的数据挖掘算法,并做调优;
3、支持数据分析、挖掘算法平台的部署和日常运营;
4、撰写分析类报告。
任职资格: