datahub初体验

datahub初体验

看官网：
https://datahubproject.io/

github源码：
https://github.com/datahub-project/datahub

环境要求：

• python > 3.7
• docker:
  2cores
  8G RAM
• windows环境，最好安装个anaconda，新建一个python虚拟环境

1. 初始化

   进入anaconda，进入datahub虚拟环境：
   安装datahub
   datahub docker quickstart

2. 注入测试数据

datahub docker ingest-sample-data

3. 命令行方式摄取元数据

pip install 'acryl-datahub[datahub-rest]'  # install the required plugin
pip install 'acryl-datahub[mysql]'
vim mysql_to_datahub.yml
source:  
	type: mysql  
	config:    # Coordinates    
		host_port: localhost:3306    
		database: dbname    # Credentials    
		username: root    
		password: example
sink:    
	type: "datahub-rest"    
	config:    
	server: "http://localhost:8080"

datahub ingest -c mysql_to_datahub.yml

即可以将mysql元数据信息导入到datahub了