想向etl方向发展

想向etl方向发展,第1张

随着信息技术爆炸性发展,智能终端,智能穿戴设备,无人驾驶汽车等等,都宣告大数据的时代已经来临!学习成长为一名处理数据的BI工程师是实现梦想的绝佳途径!

如何入门呢?首先要有数据库基础,选择一门主流的数据库(ORACLE,DB2,SQLSERVER)学习基本的SQL开发,掌握存储过程,函数,包,SQL调优等。其次就要会一个主流的BI工具,常见后台ETL工具如:DATASTAGE,INFORMATICA,KETTLE等,主流前台报表工具如BIEE,COGNOS,BO,当然也有国产的像润乾等。之后就是要了解BI中常用的概念如:事实表,维表,切片,上钻下取,缓慢变化维,代理键等。

要熟练掌握这些工具,就要在项目中去大量的练习啦,只有通过项目的实践才能深刻体会BI的这些概念及其精髓。之后有了几年的经验就可以向某个行业去深入学习业务知识做ETL顾问,或者向数据挖掘方向深究!这个过程自学的话要很久,要想在很短的时间入门,找家有实力的机构去通过项目实践就很有必要啦。国内专注这块的有深圳的融通学苑,北京的思数,你可根据自身情况作出选择。

我们在开发过程中,肯定会有和第三方或者app端的接口调用。在调用的时候,下面的方法可以来防止非法链接或者恶意攻击。

一、签名

  根据用户名或者用户id,结合用户的ip或者设备号,生成一个token。在请求后台,后台获取>

在使用Base64方式的编码后,Token字符串还是有20多位,有的时候还是嫌它长了。由于GUID本身就有128bit,在要求有良好的可读性的前提下,很难进一步改进了。那我们如何产生更短的字符串呢?还有一种方式就是较少Token的长度,不用GUID,而采用一定长度的随机数,例如64bit,再用Base64编码表示:

var rnd = new Random();

    var tokenData = userIp+userId;

    rndNextBytes(tokenData);

    var token = ConvertToBase64String(tokenData)TrimEnd('=');

由于这里只用了64bit,此时得到的字符串为Onh0h95n7nw的形式,长度要短一半。这样就方便携带多了。但是这种方式是没有唯一性保证的。不过用来作为身份认证的方式还是可以的(如网盘的提取码)。

二、加密

 客户端和服务器都保存一个秘钥,每次传输都加密,服务端根据秘钥解密。

 客户端:

  1、设置一个key(和服务器端相同)

  2、根据上述key对请求进行某种加密(加密必须是可逆的,以便服务器端解密)

  3、发送请求给服务器

服务器端:

  1、设置一个key

  2、根据上述的key对请求进行解密(校验成功就是「信任」的客户端发来的数据,否则拒绝响应)

  3、处理业务逻辑并产生结果

  4、将结果反馈给客户端

三、第三方支持

比如spring security-oauth

以上就是关于想向etl方向发展全部的内容,包括:想向etl方向发展、java给别人提供接口,接口安全怎么保证、等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9840802.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-02
下一篇2023-05-02

发表评论

登录后才能评论

评论列表(0条)

    保存