数据工程师的职责与技能有哪些

数据工程师的职责与技能有哪些

数据工程师的职责与技能有哪些？
职责是
1向系统导入数据，
2清洗数据，
3计算数据，
4分析数据，
5对数据进行可视化展示。
导数据需要很强的编程技能，能写java,python,shell脚本等。
需要熟练掌握各种网络协议的接口。例如http,ftp,smtp等。
熟练掌握各种常用数据库的使用方法，例如，mysql,oracle等。
清洗数据最需要的是概率与数理统计的知识，均值，方差，概率分布等必需的。对数据的空值检测，合法性校验，筛出异常值，归一化处理等，学再多的统计知识也不为过。各种数据处理的工具软件和软件包都是可用的利器。
计算数据时，写SQL是最基础的，了解业务需求最重要，计算公式要门清，还要注意程序的执行性能问题。判断计算结果是否靠谱，还是依赖于对业务情况的熟悉程度。
分析数据包括对数据作分类，聚类，血缘分析，统计分析等，需要熟悉数据挖掘，机器学习等分支学科的模型。能够应用它们解决实际问题。
可视化的工具有很多，一般情况下，数据可视化的工作由前端工程师实现。但从需求角度上看，知道应该用饼图，折线图，还是柱状图来展示是必要的。根据行业不同，图表可以多达几百种。了解的图表多，方便内外部的沟通交流。
想做数据工程师的小伙伴们，知道该向何方努力了吧？