空值 和 null 是两个不同的概念。
以上二者的区别。
字段类型限制 not null ,但是可以插入空值
'' 空值不占空间，null 占用空间。在网上见一个比喻，一个杯子，''表示真空，null里面是空气，看似相同，实则差异很大。
kettle 默认把空值当作null处理。
把下面这个参数由N改为Y即可。
kettle是一个ETL工具，ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）。
kettle中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
所以他的重心是用于数据
oozie是一个工作流，Oozie工作流是放置在控制依赖DAG（有向无环图 Direct Acyclic Graph）中的一组动作（例如，Hadoop的Map/Reduce作业、Pig作业等），其中指定了动作执行的顺序。
oozie工作流中是有数据流动的，但是重心是在于工作流的定义。
二者虽然都有相关功能及数据的流动，但是其实用途是不一样的。
查看帮助
列举出所有linux上的数据库
列举出所有Window上的数据库
查看数据库下的所有表
（1）确定mysql服务启动正常
查询控制端口和查询进程来确定，一下两种办法可以确认mysql是否在启动状态
办法1：查询端口
MySQL监控的TCP的3306端口，如果显示3306，证明MySQL服务在运行中
办法二：查询进程
可以看见mysql的进程
没有指定数据导入到哪个目录，默认是/user/root/表名
原因:
如果表中有主键,m的值可以设置大于1的值;如果没有主键只能将m值设置成为1;或者要将m值大于1,需要使用--split-by指定一个字段
设置了-m 1 说明只有一个maptask执行数据导入,默认是4个maptask执行导入 *** 作,但是必须指定一个列来作为划分依据
导入数据到指定目录
在导入表数据到HDFS使用Sqoop导入工具，我们可以指定目标目录。使用参数 --target-dir来指定导出目的地，使用参数—delete-target-dir来判断导出目录是否存在，如果存在就删掉
查询导入
提示：must contain '$CONDITIONS' in WHERE clause。
where id <=1 匹配条件
$CONDITIONS：传递作用。
如果 query 后使用的是双引号，则 $CONDITIONS前必须加转义符，防止 shell 识别为自己的变量。
--query时不能使用--table一起使用
需要指定--target-dir路径
导入到hdfs指定目录并指定要求
数据导出储存方式（数据存储文件格式---（ textfil parquet）--as-textfileImports data as plain text (default)--as-parquetfile Imports data to Parquet Files）
导入表数据子集到HDFS
sqoop导入blob数据到hive
对于CLOB，如xml文本，sqoop可以迁移到Hive表，对应字段存储为字符类型。
对于BLOB，如jpg，sqoop无法直接迁移到Hive表，只能先迁移到HDFS路径，然后再使用Hive命令加载到Hive表。迁移到HDFS后BLOB字段存储为16进制形式。
213导入关系表到Hive
第一步:导入需要的jar包
将我们mysql表当中的数据直接导入到hive表中的话，我们需要将hive的一个叫做hive-exec-110-cdh5140jar的jar包拷贝到sqoop的lib目录下
第二步:开始导入
导入关系表到hive并自动创建hive表
们也可以通过命令来将我们的mysql的表直接导入到hive表当中去
通过这个命令，我们可以直接将我们mysql表当中的数据以及表结构一起倒入到hive当中去
--incremental 增量模式。
append id 是获取一个某一列的某个值。
lastmodified “2016-12-15 15：47：35” 获取某个时间后修改的所有数据
-append 附加模式
-merge-key id 合并模式
--check-column 用来指定一些列，可以去指定多个列；通常的是指定主键id
--last -value 从哪个值开始增量
==注意:增量导入的时候,一定不能加参数--delete-target-dir 否则会报错==
第一种增量导入方式(不常用)
1Append方式
使用场景：有个订单表，里面每个订单有一个唯一标识的自增列id，在关系型数据库中以主键的形式存在。之前已经将id在0-1000之间的编号的订单导入到HDFS 中；如果在产生新的订单，此时我们只需指定incremental参数为append，--last-value参数为1000即可，表示只从id大于1000后开始导入。
（1）创建一个MySQL表
（2）创建一个hive表（表结构与mysql一致）
注意：
append 模式不支持写入到hive表中
2lastModify方式
此方式要求原有表有time字段，它能指定一个时间戳，让sqoop把该时间戳之后的数据导入到HDFS；因为后续订单可能状体会变化，变化后time字段时间戳也会变化，此时sqoop依然会将相同状态更改后的订单导入HDFS，当然我们可以只当merge-key参数为order-id，表示将后续新的记录和原有记录合并。
# 将时间列大于等于阈值的数据增量导入HDFS
使用 lastmodified 方式导入数据，要指定增量数据是要 --append（追加）还是要 --merge-key（合并）last-value 指定的值是会包含于增量导入的数据中。
第二种增量导入方式(推荐)
==通过where条件选取数据更加精准==
215从RDBMS到HBase
会报错
原因：sqoop146 只支持 HBase101 之前的版本的自动创建 HBase 表的功能。
解决方案：手动创建 HBase 表
导出前，目标表必须存在与目标数据库中
默认 *** 作是将文件中的数据使用insert语句插入到表中
数据是在HDFS当中的如下目录/sqoop/emp，数据内容如下
第一步：创建MySQL表
第二步：执行导出命令
通过export来实现数据的导出，将hdfs的数据导出到mysql当中去
全量导出
增量导出
更新导出
总结:
参数介绍
--update-key 后面也可以接多个关键字列名，可以使用逗号隔开，Sqoop将会匹配多个关键字后再执行更新 *** 作。
--export-dir 参数配合--table或者--call参数使用，指定了HDFS上需要将数据导入到MySQL中的文件集目录。
--update-mode updateonly和allowinsert。 默认模式为updateonly，如果指定--update-mode模式为allowinsert，可以将目标数据库中原来不存在的数据也导入到数据库表中。即将存在的数据更新，不存在数据插入。
组合测试及说明
1、当指定update-key，且关系型数据库表存在主键时：
A、allowinsert模式时，为更新目标数据库表存的内容，并且原来不存在的数据也导入到数据库表；
B、updateonly模式时，为更新目标数据库表存的内容，并且原来不存在的数据也不导入到数据库表；
2、当指定update-key，且关系型数据库表不存在主键时：
A、allowinsert模式时，为全部数据追加导入到数据库表；
B、updateonly模式时，为更新目标数据库表存的内容，并且原来不存在的数据也不导入到数据库表；
3、当不指定update-key，且关系型数据库表存在主键时：
A、allowinsert模式时，报主键冲突，数据无变化；
B、updateonly模式时，报主键冲突，数据无变化；
4、当不指定update-key，且关系型数据库表不存在主键时：
A、allowinsert模式时，为全部数据追加导入到数据库表；
B、updateonly模式时，为全部数据追加导入到数据库表；
实际案例:
(1)mysql批量导入hive
使用shell脚本：
笔者目前用sqoop把mysql数据导入到Hive中，最后实现命令行导入，sqoop版本147，实现如下
最后需要把这个导入搞成job，每天定时去跑，实现数据的自动化增量导入，sqoop支持job的管理，可以把导入创建成job重复去跑，并且它会在metastore中记录增值，每次执行增量导入之前去查询
创建job命令如下
创建完job就可以去执行它了
sqoop job --exec users
可以把该指令设为Linux定时任务，或者用Azkaban定时去执行它
hive导出到MySQL时，date类型数据发生变化？
问题原因：时区设置问题，date -R查看服务器时间，show VARIABLES LIKE "%time_zone"查看Mysql时间，system并不表示中国的标准时间，要将时间设置为东八区
（1）：对市面上最流行的两种调度器，给出以下详细对比，以供技术选型参考。总体来说，ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失，轻量级调度器azkaban是很不错的候选对象。
（2）：功能：
两者均可以调度mapreduce,pig,java,脚本工作流任务；
两者均可以定时执行工作流任务；
（3）：工作流定义：
Azkaban使用Properties文件定义工作流；
Oozie使用XML文件定义工作流；
（4）：工作流传参：
Azkaban支持直接传参，例如${input}；
Oozie支持参数和EL表达式，例如${fs:dirSize(myInputDir)}；
（5）：定时执行：
Azkaban的定时执行任务是基于时间的；
Oozie的定时执行任务基于时间和输入数据；
（6）：资源管理：
Azkaban有较严格的权限控制，如用户对工作流进行读/写/执行等 *** 作；
Oozie暂无严格的权限控制；
（7）：工作流执行：
Azkaban有两种运行模式，分别是solo server mode(executor server和web server部署在同一台节点)和multi server mode(executor server和web server可以部署在不同节点)；
Oozie作为工作流服务器运行，支持多用户和多工作流；
（8）：工作流管理：
Azkaban支持浏览器以及ajax方式 *** 作工作流；
Oozie支持命令行、>ETL分别是Extract（数据抽取）、 Transform（转换）、 Loading（装载）三个英文单词的首字母缩写。是数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程。构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
抽取：将数据从各种原始的业务系统中读取出来，这是所有工作的前提。
转换：按照预先设计好的规则将抽取得数据进行转换、清洗，以及处理一些冗余、歧义的数据，使本来异构的数据格式能统一起来。
装载：将转换完的数据按计划增量或全部的导入到数据仓库中。
在技术上主要涉及增量、转换、调度和监控等几个方面的处理。
ETL 作为BI/DW的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，其工作量要占整个项目的60%-80%，这是国内外从众多实践中得到的普遍共识。
整个商务智能/数据仓库系统由三大部分组成：数据集成、数据仓库和数据集市、多维数据分析。
通常，商务智能运作所依靠的信息系统是一个由传统系统、不兼容数据源、数据库与应用所共同构成的复杂数据集合，各个部分之间不能彼此交流。从这个层面看：目前运行的应用系统是您花费了很大精力和财力构建的、不可替代的系统，特别是系统的数据。而新建的商务智能系统目的就是要通过数据分析来辅助自己决策，恰恰这些数据的来源、格式不一样，导致了系统实施、数据整合的难度。此时，您非常希望有一个全面的解决方案来解决自己的困境，解决自己企业的数据一致性与集成化问题，使您能够从您所有传统环境与平台中采集数据，并利用一个单一解决方案对其进行高效的转换。这个解决方案就是ETL。
它不是系统软件，但是不建议删。
对于做过 BI 开发的朋友，ETL 并不陌生，只要涉及到数据源的数据抽取、数据的计算和处理过程的开发，都是 ETL，ETL 就这三个阶段，Extraction 抽取，Transformation 转换，Loading 加载。
从不同数据源抽取数据 EXTRACTION ，按照一定的数据处理规则对数据进行加工和格式转换 TRASFORMATION，最后处理完成的输出到目标数据表中也有可能是文件等等，这个就是 LOADING。
再通俗一点讲，ETL 的过程就跟大家日常做菜一样，需要到菜市场的各个摊位买好菜，把菜买回来要摘一下，洗一洗，切一切最后下锅把菜炒好端到饭桌上。菜市场的各个摊位就是数据源，做好的菜就是最终的输出结果，中间的所有过程像摘菜、洗菜、切菜、做菜就是转换。
在开发的时候，大部分时候会通过 ETL 工具去实现，比如常用的像 KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微软 SQL SERVER 里面的 SSIS 等等，在结合基本的 SQL 来实现整个 ETL 过程。
也有的是自己通过程序开发，然后控制一些数据处理脚本跑批，基本上就是程序加 SQL 实现。
哪种方式更好，也是需要看使用场景和开发人员对那种方式使用的更加得心应手。我看大部分软件程序开发人员出身的，碰到数据类项目会比较喜欢用程序控制跑批，这是程序思维的自然延续。纯 BI 开发人员大部分自然就选择成熟的 ETL 工具来开发，当然也有一上来就写程序脚本的，这类 BI 开发人员的师傅基本上是程序人员转过来的。
用程序的好处就是适配性强，可扩展性强，可以集成或拆解到到任何的程序处理过程中，有的时候使用程序开发效率更高。难就难在对维护人员有一定的技术要求，经验转移和可复制性不够。
用 ETL 工具的好处，第一是整个 ETL 的开发过程可视化了，特别是在数据处理流程的分层设计中可以很清晰的管理。第二是链接到不同数据源的时候，各种数据源、数据库的链接协议已经内置了，直接配置就可以，不需要再去写程序去实现。第三是各种转换控件基本上拖拉拽就可以使用，起到简化的代替一部分 SQL 的开发，不需要写代码去实现。第四是可以非常灵活的设计各种 ETL 调度规则，高度配置化，这个也不需要写代码实现。
所以在大多数通用的项目中，在项目上使用 ETL 标准组件开发会比较多一些。
ETL 从逻辑上一般可以分为两层，控制流和数据流，这也是很多 ETL 工具设计的理念，不同的 ETL 工具可能叫法不同。
控制流就是控制每一个数据流与数据流处理的先后流程，一个控制流可以包含多个数据流。比如在数据仓库开发过程中，第一层的处理是ODS层或者Staging 层的开发，第二层是DIMENSION维度层的开发，后面几层就是DW 事实层、DM数据集市层的开发。通过ETL的调度管理就可以让这几层串联起来形成一个完整的数据处理流程。
数据流就是具体的从源数据到目标数据表的数据转换过程，所以也有 ETL 工具把数据流叫做转换。在数据流的开发设计过程中主要就是三个环节，目标数据表的链接，这两个直接通过 ETL 控件配置就可以了。中间转换的环节，这个时候就可能有很多的选择了，调 SQL 语句、存储过程，或者还是使用 ETL 控件来实现。
有的项目上习惯使用 ETL 控件来实现数据流中的转换，也有的项目要求不使用标准的转换组件使用存储过程来调用。也有的是因为数据仓库本身这个数据库不支持存储过程就只能通过标准的SQL来实现。
我们通常讲的BI数据架构师其实指的就是ETL的架构设计，这是整个BI项目中非常核心的一层技术实现，数据处理、数据清洗和建模都是在ETL中去实现。一个好的ETL架构设计可以同时支撑上百个包就是控制流，每一个控制流下可能又有上百个数据流的处理过程。之前写过一篇技术文章，大家可以搜索下关键字 BIWORK ETL 应该在网上还能找到到这篇文章。这种框架设计不仅仅是ETL框架架构上的设计，还有很深的ETL项目管理和规范性控制器思想，包括后期的运维，基于BI的BI分析，ETL的性能调优都会在这些框架中得到体现。因为大的BI项目可能同时需要几十人来开发ETL，框架的顶层设计就很重要。
常见的 在处理五要素的时候，姓名基本没啥要处理的，
1身份z号 手机号 yhk号 经常是 显示为 E+17 或者 前面带有 ``` 字符
2申请日期经常是各种格式，有时候一不小心就变成乱码的数字 后者####。
3如果 excel 有外部链接存在，即使忽略，但是 在修改的时候还是非常糟心，要等很久，而且经常无法保存，excel就崩溃了
4还有就是 本身就是文本，但是使用 TEXT LEFT RIGHT MID IF 没有任何效果
5excel 读取 含有中文的数据显示乱码
6多条件的替换问题，if嵌套。
7批量 替换 匹配
8空值问题
9筛选问题
10脚本读取文件
其实就是以上的这些小情况，经常浪费大量时间，急需一招狠制敌
接着说 1
因为很多时候 excel会把一些类数值的身份z号和手机号当做数字，这个其实是数据源在使用python处理的时候没有来得及保存 对应列的 数据类型。
在出现 E+17,我们首先想到的是修改 单元格格式，比如保存为文本，假如正常那简直是万幸，如果不可以，可能会发现 修改后的数据末尾都变成了3个零。
另外一个终极方法
这里，有一个简单的 *** 作方法：选择数据源——右键设置单元格格式——自定义——选择0，按确定——结果出来了。结果很明显，是我们需要的效果，而且快捷，方便。
另外就是使用python pandas读取 ，设置 dtype=npstr
对于 身份z或者手机号 yhk号 数据首位出现 `字符的，可以使用 RIGHT MID 函数做数据的截取
对于数据出现 ###,一般修改单元格格式 ，或者 拉长单元格，或者 python读取一下就可以处理
最后就是说2了。日期
其实这个日期，就是格式太特么的多和复杂不固定。我们现在 使用的是 类似 2018-4-17 这种格式，所以只要不符合这种格式的，我们都会需要做一些转化，
最简单的 就是使用 TEXT 函数 ，一般这样用 =TEXT(E2,"yyyy-mm-dd")
基本就可以转化过来。
如果以上不起作用 参考 处理 4 的方法 不断尝试 ，最后确认函数真的不会起作用为止。
之后如果 不小心 变成一段数字了，修改单元格格式，转回日期一般是有效的。
如果日期 函数不起效果，我们使用截取 拼接的方式 使用 RIGHT LEFT MID
CONCATENATE() 这些函数 一般也可以胜任
如果 还是不行也可以 使用 YEAR() DATE() EXCEL 本身的日期处理函数
另外就是修改单元格格式 ，尝试一下各种日期格式是否可以满足要求
另外的杀手锏就是 python pandas 和numpy都有 时间处理的函数
可以参考
推荐阅读
>缩写和浏览器
21:01:33
etl是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过提取（extract）、转换（transform）、加载（load）至目的端的过程。
1、etl一词较常用在数据仓库data warehousing, 但其对象并不限于数据仓库data warehousing。etl的设计分三部分：数据抽取(Data Extraction)、数据的清洗转换(Data Transformation)、数据的加载(Data Loading)。
2、提取：提取数据是从一个或多个数据源中提取数据的行为。在 ETL 的提取阶段，可能会处理各种数据源，例如：关系型和非关系型数据库、平面文件、SaaS应用程序等。
3、转换：你提取的数据已经是你需要的确切格式的情况很少见。例如，你可能想要：将非结构化数据重新排列为结构化格式、将你提取的数据限制在几个字段中等。所有这些甚至更多的变化都发生在ETL的转换阶段。
21:02:04
浏览器、加州大学、聊天软件、统一通信等。
1UC浏览器是首款基于大数据分析用户兴趣，融入信息流式交互体验，为用户提供个性化阅读体验的手机浏览器，具有资讯阅读、小说阅读、视频播放、网站导航、搜索、下载、个人数据管理等功能。
2加利福尼亚大学(University of California)，简称加州大学，是位于美国加州的一个由数所公立大学组成的大学系统，也是世界上最具影响力的公立大学系统，被誉为"全世界最好的公立大学"和"公立高等教育的典范"。
3
统一通信：统一通信可以有效地整合并简化各种****。允许用户随时变换通信方式，灵活转换信息载体，让员工之间的相互联系变得极其方便。在统一通信环境中，用户何时、怎样以及与谁通信也变得可以控制。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）