关于ETL工具kettle连接国产达梦数据库问题,用过的请进

关于ETL工具kettle连接国产达梦数据库问题,用过的请进,第1张

1、下载最新的kettle版本
2、把达梦对应JDK版本的jdbc驱动放在D:\kettle\pdi-ce-440-stable\data-integration\libext\JDBC安装目录下面
3、在connection type中选择generic database右侧填好url和Driver

前言

近几天组内交给我一个任务,就是研究kettle的restful接口的调用。可是之前学习和接触的大部分都是数仓、BI以及一部分简单程序、脚本的编写,所以对restful接口不是很了解(但只是用工具调用的话,不需要太深的了解,只需要知道这是一种可以调用的API接口,实现某种功能就行了),所以在网上查找了很多资料,但其实对于调用来说,只需要知道在我们在调用这个接口时,需要哪些参数,应该怎样传入就可以了。感觉上好像很简单,但其实里面有很多坑,接下来我们就开始吧

正文

1、首先,我们要知道我们需要调用的接口的URI,简单理解就是你要调用的资源的地址,就像门派号一样,用到什么命令,传递什么参数。一般而言,需要让你进行调用,都会把这部分内容列出来,比如:

在这个API中,可以看到具体的信息,①是 *** 作行为,②是传递的body,③是请求头,在此就不多说了,该部分内容大家可以自行查阅资料,对这些内容我可能比大家还不清楚。知道我要调用的API之后,就可以通过kettle设计转换流程了。

一、生成记录

因为只是一个测试,所以我直接通过生成记录组件生成了我所需要的内容,ps:这里不仅仅可以配置单条记录,其实多条同样请求的记录同样会分别请求。

url是将要post的资源,post后得到关于token的response,然后再利用token进行其余的请求。

body是post的函数体,post时,有的需要带body才能通过。

url2是真正要进行调用的API,都在生成记录里预生成了。

二、REST Client配置

三、JSON Input

利用JSON Input接收由REST Client获取的结果,只保留token的值。此处JSON路径如何设置不多赘述,请读者自行查阅JSON路径的配置。

对于JSON Input 3中获取Cookie是为了调用真正的API做准备。如果没有带Cookie,后续的调用就无法确定是否进行了登录。在一个网页中,我们先进行登录,然后继续后续 *** 作,后续每次 *** 作都不需要再次登录,是因为我们将服务器传给我们的session存入了客户端/浏览器的cookie中,每次我们做请求,都会带上cookie,就不需要重复登录了。但是此处如果不获取cookie,因为是分离开的,所以后一步就会出现会话无效的错误。如下图所示:

四、记录集连接

因为cookie和token在不同的表中,所以需要将两张表join起来,join的 *** 作大家应该都很熟悉了。如果不清楚,后续可以留言我给大家进行补充。最后留下我们需要的几个参数,URL2、token、cookie

五、调用API

以上就是全部内容,如果有什么疑问或者有什么疏漏,欢迎大家指正。

batch_size = 100 #定义每次处理数据的数量为100
train_iter = mxioNDArrayIter(to4d(train_img),train_lbl,batch_size,shuffle=True) #构建训练数据迭代器,且其中shuffle表示采用可拖动的方式,意味着可以将在早期已经训练过的数据在后面再次训练
val_iter = mxioNDArrayIter(to4d(val_img),val_lbl,batch_size) #构建测试数据迭代器!

背景
在使用ftp下载插件时,发现进行本地执行时可以正常,但当选择了远程执行并指定了远程服务器后发现出现了错误:从 FTP:User cannot log in 获取文件时发生错误。根据错误信息可以判断是因为ftp登录不上的原因,至于具体的原因无法定位,为了一探究竟,于是便萌生了调试远程作业的想法,顺便深入了解一下了解kettle运行原理以及源码学习。
思路
carte服务器实际上就是一个web server,该web server 是基于 Jetty 这个嵌入式的开源 servlet 容器。这个web server主要是提供转换运行的环境,另外一个重要的功能通过提供servlet来在客户端、主服务器和从属服务器之间进行通讯和控制。主服务器和从属 服务器之间是通过>

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zz/12580024.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2025-08-26
下一篇2025-08-26

发表评论

登录后才能评论

评论列表(0条)

    保存