Perceptron & KNN（面试准备）

感知机是二分类的线性分类模型，感知机对应于特征空间中将实例划分为正负两类的分离超平面，属于 判别模型 。

感知机模型如下：

其损失函数为误分类的样本到超平面的几何距离之和（去掉系数 ）：

从而损失函数的梯度为：

随机选择一个误分类点 ，对 进行更新，就得到感知机学习算法：

每次找一个误分类点作上述 *** 作，直至找到一个超平面将所有点正确分类（若样本点线性可分）。

其收敛性的证明也很简单，思路就是设有一个 (含 )，使得分类结果全部正确，则我们的模型可以不断调整 方向并在有限步使得 与 同向（证明见 here ）。

KNN的主要优点有：

KNN的主要缺点有：

值的选择没有经验性的方法，一般只能通过交叉验证来选取合适的k值。

如果 值选择较小，就相当于用较小的邻域中的训练实例进行预测，“学习”的近似误差会减小，只有与输入实例较近的训练实例才会对预测起作用，但估计误差会增大，预测结果会对近邻的实例点非常敏感，如果近邻的实例点恰巧是噪声，预测就会出错。相反如果 值选择较大，就相当于用较大的领域中的训练实例进行预测，近似误差会增大，但估计误差会减小。

对于 近邻法来说， 越大模型越简单，这一点乍一看不容易理解，但其实我们可以考虑极端情况 （ 为样本数），此时任何新样本都会被归入当前样本集中实例最多的类别，从而丢失大量信息。反之， 越小模型越复杂，模型将面临过拟合风险。

解决办法是：使用 KD 树来提高 KNN 搜索的效率。

KD 树是一种对 维空间中的样本点进行存储以便对其进行快速检索的树型数据结构。它是二叉树，表示对 维空间的一个划分。构造 KD 树的过程相当于不断的用垂直于坐标轴的超平面将 维空间切分的过程。树的每个结点对应于一个 维的超矩形区域。

用 KD 树进行最近邻搜索的时候，首先在 KD 树中找到包含目标节点的叶结点，以此叶结点为“当前最近点”，然后递归地向上回退，若该结点保存的实例点比当前最近点距离目标更近，则以该点为“当前最近点”。检查该子结点的父节点的另一个子结点对应的区域是否有更近的点，即检查另一子结点对应的区域是否与以目标节点为球心，以目标点到“当前最近点”的距离为半径的超球体相交。若相交，可能在另一个子结点对应区域中存在距离目标更近的点，移动到另一个子结点，继续递归地进行搜索。若不相交，向上回退。当回退到根结点，搜索结束，此时的“当前最近点”即为最近邻点。K 近邻的搜索与之类似。

KD 树搜索的平均计算复杂度为 ， 为训练集大小。KD 树适合样本数远大于特征数的情形。

机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书的过程来学习了。

一、kNN算法分析

K最近邻（k-Nearest Neighbor，KNN）分类算法可以说是最简单的机器学习算法了。它采用测量不同特征值之间的距离方法进行分类。它的思想很简单：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。

比如上面这个图，我们有两类数据，分别是蓝色方块和红色三角形，他们分布在一个上图的二维中间中。那么假如我们有一个绿色圆圈这个数据，需要判断这个数据是属于蓝色方块这一类，还是与红色三角形同类。怎么做呢？我们先把离这个绿色圆圈最近的几个点找到，因为我们觉得离绿色圆圈最近的才对它的类别有判断的帮助。那到底要用多少个来判断呢？这个个数就是k了。如果k=3，就表示我们选择离绿色圆圈最近的3个点来判断，由于红色三角形所占比例为2/3，所以我们认为绿色圆是和红色三角形同类。如果k=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。从这里可以看到，k的值还是很重要的。

KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。

该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。因此可以采用权值的方法（和该样本距离小的邻居权值大）来改进。该方法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本。该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分[参考机器学习十大算法]。

总的来说就是我们已经存在了一个带标签的数据库，然后输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似（最近邻）的分类标签。一般来说，只选择样本数据库中前k个最相似的数据。最后，选择k个最相似数据中出现次数最多的分类。其算法描述如下：

1）计算已知类别数据集中的点与当前点之间的距离；

2）按照距离递增次序排序；

3）选取与当前点距离最小的k个点；

4）确定前k个点所在类别的出现频率；

5）返回前k个点出现频率最高的类别作为当前点的预测分类。

二、Python实现

对于机器学习而已，Python需要额外安装三件宝，分别是Numpy，scipy和Matplotlib。前两者用于数值计算，后者用于画图。安装很简单，直接到各自的官网下载回来安装即可。安装程序会自动搜索我们的python版本和目录，然后安装到python支持的搜索路径下。反正就python和这三个插件都默认安装就没问题了。

另外，如果我们需要添加我们的脚本目录进Python的目录（这样Python的命令行就可以直接import），可以在系统环境变量中添加：PYTHONPATH环境变量，值为我们的路径，例如：E:\Python\Machine Learning in Action

21、kNN基础实践

一般实现一个算法后，我们需要先用一个很小的数据库来测试它的正确性，否则一下子给个大数据给它，它也很难消化，而且还不利于我们分析代码的有效性。

首先，我们新建一个kNNpy脚本文件，文件里面包含两个函数，一个用来生成小数据库，一个实现kNN分类算法。代码如下：

[python] view plain copy

#########################################

# kNN: k Nearest Neighbors

# Input: newInput: vector to compare to existing dataset (1xN)

# dataSet: size m data set of known vectors (NxM)

# labels: data set labels (1xM vector)

# k: number of neighbors to use for comparison

# Output: the most popular class label

#########################################

from numpy import

import operator

# create a dataset which contains 4 samples with 2 classes

def createDataSet():

# create a matrix: each row as a sample

group = array([[10, 09], [10, 10], [01, 02], [00, 01]])

labels = ['A', 'A', 'B', 'B'] # four samples and two classes

return group, labels

# classify using kNN

def kNNClassify(newInput, dataSet, labels, k):

numSamples = dataSetshape[0] # shape[0] stands for the num of row

## step 1: calculate Euclidean distance

# tile(A, reps): Construct an array by repeating A reps times

# the following copy numSamples rows for dataSet

diff = tile(newInput, (numSamples, 1)) - dataSet # Subtract element-wise

squaredDiff = diff 2 # squared for the subtract

squaredDist = sum(squaredDiff, axis = 1) # sum is performed by row

distance = squaredDist 05

## step 2: sort the distance

# argsort() returns the indices that would sort an array in a ascending order

sortedDistIndices = argsort(distance)

classCount = {} # define a dictionary (can be append element)

for i in xrange(k):

## step 3: choose the min k distance

voteLabel = labels[sortedDistIndices[i]]

## step 4: count the times labels occur

# when the key voteLabel is not in dictionary classCount, get()

# will return 0

classCount[voteLabel] = classCountget(voteLabel, 0) + 1

## step 5: the max voted class will return

maxCount = 0

for key, value in classCountitems():

if value > maxCount:

maxCount = value

maxIndex = key

return maxIndex

然后我们在命令行中这样测试即可：

[python] view plain copy

import kNN

from numpy import

dataSet, labels = kNNcreateDataSet()

testX = array([12, 10])

k = 3

outputLabel = kNNkNNClassify(testX, dataSet, labels, 3)

print "Your input is:", testX, "and classified to class: ", outputLabel

testX = array([01, 03])

outputLabel = kNNkNNClassify(testX, dataSet, labels, 3)

print "Your input is:", testX, "and classified to class: ", outputLabel

这时候会输出：

[python] view plain copy

Your input is: [ 12 10] and classified to class: A

Your input is: [ 01 03] and classified to class: B

22、kNN进阶

这里我们用kNN来分类一个大点的数据库，包括数据维度比较大和样本数比较多的数据库。这里我们用到一个手写数字的数据库，可以到这里下载。这个数据库包括数字0-9的手写体。每个数字大约有200个样本。每个样本保持在一个txt文件中。手写体图像本身的大小是32x32的二值图，转换到txt文件保存后，内容也是32x32个数字，0或者1，如下：

数据库解压后有两个目录：目录trainingDigits存放的是大约2000个训练数据，testDigits存放大约900个测试数据。

这里我们还是新建一个kNNpy脚本文件，文件里面包含四个函数，一个用来生成将每个样本的txt文件转换为对应的一个向量，一个用来加载整个数据库，一个实现kNN分类算法。最后就是实现这个加载，测试的函数。

[python] view plain copy

#########################################

# kNN: k Nearest Neighbors

# Input: inX: vector to compare to existing dataset (1xN)

# dataSet: size m data set of known vectors (NxM)

# labels: data set labels (1xM vector)

# k: number of neighbors to use for comparison

# Output: the most popular class label

#########################################

from numpy import

import operator

import os

# classify using kNN

def kNNClassify(newInput, dataSet, labels, k):

numSamples = dataSetshape[0] # shape[0] stands for the num of row

## step 1: calculate Euclidean distance

# tile(A, reps): Construct an array by repeating A reps times

# the following copy numSamples rows for dataSet

diff = tile(newInput, (numSamples, 1)) - dataSet # Subtract element-wise

squaredDiff = diff 2 # squared for the subtract

squaredDist = sum(squaredDiff, axis = 1) # sum is performed by row

distance = squaredDist 05

## step 2: sort the distance

# argsort() returns the indices that would sort an array in a ascending order

sortedDistIndices = argsort(distance)

classCount = {} # define a dictionary (can be append element)

for i in xrange(k):

## step 3: choose the min k distance

voteLabel = labels[sortedDistIndices[i]]

## step 4: count the times labels occur

# when the key voteLabel is not in dictionary classCount, get()

# will return 0

classCount[voteLabel] = classCountget(voteLabel, 0) + 1

## step 5: the max voted class will return

maxCount = 0

for key, value in classCountitems():

if value > maxCount:

maxCount = value

maxIndex = key

return maxIndex

# convert image to vector

def img2vector(filename):

rows = 32

cols = 32

imgVector = zeros((1, rows cols))

fileIn = open(filename)

for row in xrange(rows):

lineStr = fileInreadline()

for col in xrange(cols):

imgVector[0, row 32 + col] = int(lineStr[col])

return imgVector

# load dataSet

def loadDataSet():

## step 1: Getting training set

print "---Getting training set"

dataSetDir = 'E:/Python/Machine Learning in Action/'

trainingFileList = oslistdir(dataSetDir + 'trainingDigits') # load the training set

numSamples = len(trainingFileList)

train_x = zeros((numSamples, 1024))

train_y = []

for i in xrange(numSamples):

filename = trainingFileList[i]

# get train_x

train_x[i, :] = img2vector(dataSetDir + 'trainingDigits/%s' % filename)

# get label from file name such as "1_18txt"

label = int(filenamesplit('_')[0]) # return 1

train_yappend(label)

## step 2: Getting testing set

print "---Getting testing set"

testingFileList = oslistdir(dataSetDir + 'testDigits') # load the testing set

numSamples = len(testingFileList)

test_x = zeros((numSamples, 1024))

test_y = []

for i in xrange(numSamples):

filename = testingFileList[i]

# get train_x

test_x[i, :] = img2vector(dataSetDir + 'testDigits/%s' % filename)

# get label from file name such as "1_18txt"

label = int(filenamesplit('_')[0]) # return 1

test_yappend(label)

return train_x, train_y, test_x, test_y

# test hand writing class

def testHandWritingClass():

## step 1: load data

print "step 1: load data"

train_x, train_y, test_x, test_y = loadDataSet()

## step 2: training

print "step 2: training"

pass

## step 3: testing

print "step 3: testing"

numTestSamples = test_xshape[0]

matchCount = 0

for i in xrange(numTestSamples):

predict = kNNClassify(test_x[i], train_x, train_y, 3)

if predict == test_y[i]:

matchCount += 1

accuracy = float(matchCount) / numTestSamples

## step 4: show the result

print "step 4: show the result"

print 'The classify accuracy is: %2f%%' % (accuracy 100)

测试非常简单，只需要在命令行中输入：

[python] view plain copy

import kNN

kNNtestHandWritingClass()

输出结果如下：

[python] view plain copy

step 1: load data

---Getting training set

---Getting testing set

step 2: training

step 3: testing

step 4: show the result

The classify accuracy is: 9884%

蛋疼的公司网络，看不到。 首先确认下是否import成功了 比如你 import kNN那你调用的时候要写 kNNclassify0不然就写 from kNN import 然后就可以直接调用了 （默认你放在同个目录下）

实现kNN算法时，最简单的实现方法就是线性扫描，正如我们上一章节内容介绍的一样-> K近邻算法 ，需要计算输入实例与每一个训练样本的距离。当训练集很大时，会非常耗时。

为了提高kNN搜索的效率，可以考虑使用特殊的结构存储训练数据，以减少计算距离的次数，KD-Tree就是其中的一种方法。

K维空间数据集

其中

随机生成 13 个点作为我们的数据集

首先先沿 x 坐标进行切分，我们选出 x 坐标的中位点，获取最根部节点的坐标

并且按照该点的x坐标将空间进行切分，所有 x 坐标小于 627 的数据用于构建左分支，x坐标大于 627 的点用于构建右分支。

在下一步中 ,对应 y 轴，左右两边再按照 y 轴的排序进行切分，中位点记载于左右枝的节点。得到下面的树，左边的 x 是指这该层的节点都是沿 x 轴进行分割的。

空间的切分如下

下一步中 ，对应 x 轴，所以下面再按照 x 坐标进行排序和切分，有

最后只剩下了叶子结点，就此完成了 kd 树的构造。

输入：已构造的kd树，目标点x

输出：x的k个最近邻集合L

KD-Tree的平均时间复杂度为 ，N为训练样本的数量。

KD-Tree试用于训练样本数远大于空间维度的k近邻搜索。当空间维数接近训练样本数时，他的效率会迅速下降，几乎接近线性扫描。

设我们想查询的点为 p=(−1,−5)，设距离函数是普通的距离，我们想找距离目标点最近的 k=3 个点。如下：

首先我们按照构造好的KD-Tree，从根结点开始查找

和这个节点的 x 轴比较一下，p 的 x 轴更小。因此我们向左枝进行搜索：

接下来需要对比 y 轴

p 的 y 值更小，因此向左枝进行搜索：

这个节点只有一个子枝，就不需要对比了。由此找到了叶子节点 (−46,−1055)。

在二维图上是蓝色的点

此时我们要执行第二步，将当前结点插入到集合L中，并记录下 L=[(−46,−1055)]。访问过的节点就在二叉树上显示为被划掉的好了。

然后执行第三步，不是最顶端节点。我回退。上面的结点是 (−688,−54)。

执行 3a，因为我们记录下的点只有一个，小于 k=3，所以也将当前节点记录下，插入到集合L中，有 L=[(−46,−1055),(−688,−54)]。 因为当前节点的左枝是空的，所以直接跳过，继续回退，判断不是顶部根节点

由于还是不够三个点，于是将当前点也插入到集合L中，有 L=[(−46,−1055),(−688,−54),(124,−286)]。

此时发现，当前节点有其他的分枝，执行3b，计算得出 p 点和 L 中的三个点的距离分别是 662, 589, 310，但是 p 和当前节点的分割线的距离只有 214，小于与 L 的最大距离：

因此，在分割线的另一端可能有更近的点。于是我们在当前结点的另一个分枝从头执行步骤1。好，我们在红线这里：

此时处于x轴切分，因此要用 p 和这个节点比较 x 坐标:

p 的 x 坐标更大，因此探索右枝 (175,1226)，并且发现右枝已经是最底部节点，执行步骤2与3a。

经计算，(175,1226) 与 p 的距离是 1748，要大于 p 与 L 的距离，因此我们不将其放入记录中。

然后 回退，判断出不是顶端节点，往上爬。

执行3a，这个节点与 p 的距离是 491，要小于 p 与 L 的最大距离 662。

因此，我们用这个新的节点替代 L 中离 p 最远的 (−46,−1055)。

然后3b，我们比对 p 和当前节点的分割线的距离

这个距离小于 L 与 p 的最大距离，因此我们要到当前节点的另一个枝执行步骤1。当然，那个枝只有一个点。

计算距离发现这个点离 p 比 L 更远，因此不进行替代。

然后回退，不是根结点，我们向上爬

这个是已经访问过的了，所以再向上爬

再爬

此时到顶点了 。所以完了吗？当然不，还要执行3b呢。现在是步骤1的回合。

我们进行计算比对发现顶端节点与p的距离比L还要更远，因此不进行更新。

然后计算 p 和分割线的距离发现也是更远。

因此也不需要检查另一个分枝。

判断当前节点是顶点，因此计算完成！输出距离 p 最近的三个样本是 L=[(−688,−54),(124,−286),(−296,−25)]。

声明：此文章为本人学习笔记，参考于： >

数据规范化名词解释

数据在应用过程中相对比较繁杂。为了能够更好的应用数据，并以需要进行格式化的排列，以备不时之需。简称数据规范化。

数据规范化处理是数据挖掘的一项基本 *** 作。现实中，数据中不同特征的量纲可能不一致，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果，因此，需要对数据按照一定比例进行缩放，使之落在一个特定的区域，便于进行综合分析。

特别是基于距离的挖掘方法，在建模前一定要对数据进行规范化处理，如SVM,KNN,K-means，聚类等方法。

扩展资料：

数据规范化的几种方法：

在数据分析之前，都需要让数据满足一定的规律，达到规范性的要求，便于进行挖掘。

如果不进行变换的话，要不就是维数过多增加了计算成本，要不就是数据过于集中，很难找到数据之间的特征。

在数据变换中，重点是如何将数值进行规范化，有三种常用的规范方法，分别是Min-Max规范化、Z-Score规范化、小数定标规范化。

1Min-max规范化：

将原始数据投射到指定的空间[min,max]。可用公式表示为：

新数值 = （原数值-极小值）/ （极大值 - 极小值） 。

SciKit-Learn中的MinMaxScaler可以完成这个功能。

2Z-Score规范化：

将原始数据转换为正态分布的形式，使结果易于比较。可用公式表示为：

新数值 = （原数值 - 均值）/ 标准差。

在SciKit-Learn中的preprocessingscale（)可以直接将给定数据进行Z-Score规范化。

3小数定标规范化：

通过移动小数点的位置来进行规范化。小数点移动的位数取决于该属性数据取值的最大绝对值。

例如：属性A的取值范围是-800到70，那么就可以将数据的小数点整体向左移三位即[-08,007]。

参考资料来源：百度百科-数据标准化

数据库 名词解释

定义1

严格地说，数据库是“按照数据结构来组织、存储和管理数据的仓库”。在经济管理的日常工作中，常常需要把某些相关的数据放进这样的“仓库”，并根据管理的需要进行相应的处理。例如，企业或事业单位的人事部门常常要把本单位职工的基本情况（职工号、姓名、年龄、性别、籍贯、工资、简历等）存放在表中，这张表就可以看成是一个数据库。有了这个"数据仓库"我们就可以根据需要随时查询某职工的基本情况，也可以查询工资在某个范围内的职工人数等等。这些工作如果都能在计算机上自动进行，那我们的人事管理就可以达到极高的水平。此外，在财务管理、仓库管理、生产管理中也需要建立众多的这种"数据库"，使其可以利用计算机实现财务、仓库、生产的自动化管理。 JMartin给数据库下了一个比较完整的定义：数据库是存储在一起的相关数据的 ，这些数据是结构化的，无有害的或不必要的冗余，并为多种应用服务；数据的存储独立于使用它的程序；对数据库插入新数据，修改和检索原有数据均能按一种公用的和可控制的方式进行。当某个系统中存在结构上完全分开的若干个数据库时，则该系统包含一个“数据库 ”。

定义2

数据库是依照某种数据模型组织起来并存放二级存储器中的数据 。这种数据 具有如下特点：尽可能不重复，以最优方式为某个特定组织的多种应用服务，其数据结构独立于使用它的应用程序，对数据的增、删、改和检索由统一软件进行管理和控制。从发展的历史看，数据库是数据管理的高级阶段，它是由文件管理系统发展起来的。

定义3

（伯尔尼公约议定书专家委员会的观点） 所有的信息（数据率档）的编纂物，不论其是以印刷形式，计算机存储单元形式，还是其它形式存在，都应视为“数据库”。 数字化内容选择的原因有很多，概括起来主要有： （1）存储空间的原因。数字化的产品是通过网络被广大用户存取利用，而大家都知道数字化产品是存放在磁盘阵列上的，磁盘阵列由服务器来管理，磁盘空间是有限的，服务器的能力也是有限的，不可能无 地存入数字资源，这就需要我们对文献资源数字化内容进行选择。 （2）解决数字化生产高成本和图书馆经费有限性之间矛盾的需要。几乎没有图书馆有充足的资源来对整个馆藏进行数字化，内容选择不可避免。 （3）数字资源管理的需要。技术的快速发展使数字化项目所生成的数字资源的生命周期越来越短，投入巨资进行数字迁移是延长数字资源生命的1个重要途径，昂贵的维护成本就必须考虑数字化的内容选择。 数据库发展史数据库技术从诞生到现在，在不到半个世纪的时间里，形成了坚实的理论基础、成熟的商业产品和广泛的应用领域，吸引越来越多的研究者加入。数据库的诞生和发展给计算机信息管理带来了一场巨大的革命。三十多年来，国内外已经开发建设了成千上万个数据库，它已成为企业、部门乃至个人日常工作、生产和生活的基础设施。同时，随着应用的扩展与深入，数据库的数量和规模越来越大，数据库的研究领域也已经大大地拓广和深化了。30年间数据库领域获得了三次计算机图灵奖（CW Bachman,EFCodd, JGray），更加充分地说明了数据库是一个充满活力和创新精神的领域。就让我们沿着历史的轨迹，追溯一下数据库的发展历程。 传统上，为了确保企业持续扩大的IT系统稳定运行，一般用户信息中心往往不仅要不断更新更大容量的IT运维软硬件设备，极大浪费企业资源；更要长期维持一支由数据库维护、服务器维护、机房值班等各种维护人员组成的运维大军，维护成本也随之节节高升。为此，企业IT决策者开始思考：能不能像拧水龙头一样按需调节的使用IT运维服务？而不是不断增加已经价格不菲的运维成本。

定义4

数据库（DataBase,DB）是一个长期存储在计算机内的、有组织的、有共享的、统一管理的数据 。她是一个按数据结构来存储和管理数据的计算机软件系统。数据库的概念实际包括两层意思： （1）数据库是一个实体，它是能够合理保管数据的“仓库”，用户在该“仓库”中存放要管理的事务数据，“数据”和“库”两个概念结合成为数据库。 （2）数据库是数据管理的新方法和技术，他能更合适的组织数据、更方便的维护数据、更严密的控制数据和更有效的利用数据。

数据规范化名词解释

数据在应用过程中相对比较繁杂。

为了能够更好的应用数据，并以需要进行格式化的排列，以备不时之需。简称数据规范化。

数据规范化处理是数据挖掘的一项基本 *** 作。现实中，数据中不同特征的量纲可能不一致，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果，因此，需要对数据按照一定比例进行缩放，使之落在一个特定的区域，便于进行综合分析。

特别是基于距离的挖掘方法，在建模前一定要对数据进行规范化处理，如SVM,KNN,K-means，聚类等方法。

扩展资料：

数据规范化的几种方法： 在数据分析之前，都需要让数据满足一定的规律，达到规范性的要求，便于进行挖掘。

如果不进行变换的话，要不就是维数过多增加了计算成本，要不就是数据过于集中，很难找到数据之间的特征。 在数据变换中，重点是如何将数值进行规范化，有三种常用的规范方法，分别是Min-Max规范化、Z-Score规范化、小数定标规范化。

1Min-max规范化： 将原始数据投射到指定的空间[min,max]。可用公式表示为： 新数值 = （原数值-极小值）/ （极大值 - 极小值） 。

SciKit-Learn中的MinMaxScaler可以完成这个功能。 2Z-Score规范化： 将原始数据转换为正态分布的形式，使结果易于比较。

可用公式表示为： 新数值 = （原数值 - 均值）/ 标准差。 在SciKit-Learn中的preprocessingscale（)可以直接将给定数据进行Z-Score规范化。

3小数定标规范化： 通过移动小数点的位置来进行规范化。小数点移动的位数取决于该属性数据取值的最大绝对值。

例如：属性A的取值范围是-800到70，那么就可以将数据的小数点整体向左移三位即[-08,007]。 参考资料来源：百度百科-数据标准化 。

名词解释：规范化

“规范化”的定义是：“在经济、技术和科学及管理等社会实践中，对重复性事物和概念，通过制定、发布和实施标准（规范、规程和制度等）达到统一，以获得最佳秩序和社会效益”。

数据规范化是将原来的度量值转换为无量纲的值。通过将属性数据按比例缩放，通过一个函数将给定属性的整个值域映射到一个新的值域中，即每个旧的值都被一个新的值替代。

扩展资料：

企业规范化管理所寻求的效果标准：“八零”境界决策制定零失误、产品质量零次品、产品客户零遗憾、经营管理零库存、资源管理零浪费、组织结构零中间层、商务合作伙伴零抱怨、竞争对手零指责。

企业规范化管理，也需要制度化，也需要标准化，但它的重点在于为企业构建一个具有自我免疫、自动修复的机能。也就是说，使企业组织形成一种内在的自我免疫功能，能自动适应外部环境的变化，能抵御外部力量的侵害。并且当企业组织在发展过程中遭遇外部创伤后，能自动地修复愈合，使企业实现持续稳定的发展。

参考资料来源：搜狗百科-规范化

名词解释：规范化

“规范化”的定义是：“在经济、技术和科学及管理等社会实践中，对重复性事物和概念，通过制定、发布和实施标准（规范、规程和制度等）达到统一，以获得最佳秩序和社会效益”。

数据规范化是将原来的度量值转换为无量纲的值。通过将属性数据按比例缩放，通过一个函数将给定属性的整个值域映射到一个新的值域中，即每个旧的值都被一个新的值替代。

扩展资料：

企业规范化管理所寻求的效果标准：“八零”境界决策制定零失误、产品质量零次品、产品客户零遗憾、经营管理零库存、资源管理零浪费、组织结构零中间层、商务合作伙伴零抱怨、竞争对手零指责。 企业规范化管理，也需要制度化，也需要标准化，但它的重点在于为企业构建一个具有自我免疫、自动修复的机能。

也就是说，使企业组织形成一种内在的自我免疫功能，能自动适应外部环境的变化，能抵御外部力量的侵害。并且当企业组织在发展过程中遭遇外部创伤后，能自动地修复愈合，使企业实现持续稳定的发展。

参考资料来源：百度百科-规范化。

标准化管理名词解释？

标准化管理是指符合外部标准（法律、法规或其它相关规则）和内部标准（企业所倡导的文化理念）为基础的管理体系

标准化管理的职能[1]

标准化管理工作的作用与功能。它主要是对制定、修订和贯彻实施标准等整个标准化活动进行计划、组织，指挥、协调和监督，以保证标准化任务的完成。这5个职能相互联系和制约，共同构成一个有机整体。通过计划，确定标准化活动的目标；通过组织，建立实现目标的手段；通过指挥，建立正常的工作秩序；通过监督，检查计划实施的情况，纠正偏差；通过协调，使各方面工作和谐地发展。

一、标准化管理的指挥职能

标准化管理工作的职能之—。主要是对标准化系统内部各级和各类人员的领导或指导，其目的是保证国家和各级的标准化活动按照国家统—-计划的要求，相互配合、步调—致，和谐地向前发展。

二、标准化管理的组织职能

标准化管理工作的职能之—。主要是对人们的标准化活动进行科学地分工和协调，合理地分配与使用国家的标准化投资，正确处理标准化部门、标准化人员的相互关系，其目的是将标准化活动的各要素、各部门、各环节合理地组织起来，形成一个有机整体，建立起标准化工作的正常秩序。

三、标准化管理的计划职能

标准化管理工作的职能之一。主要是对标准化事业的发展进行全面考虑，综合平衡和统筹安排，其目的是把宏观标准化工作和微观标准化工作结合起来，正确地把握未来，使标准化事业能在变化的环境中持续稳定地发展，动员全体标准化人员及有关人员为实现标准化的发展目标而努力。

四、标准化管理的监督职能

标准化管理工作的职能之—。主要是按照既定的目标和标准，对标准化活动进行监督、检查，发现偏差，及时采取纠正措施，目的是保证标准化工作按计划顺利进行，最终达到预期目标。使其成果同预期的目标相—致，使标准化的计划任务和目标转化为现实。

五、标准化管理的协调职能

标准化管理的工作职能之一。主要是协调标准化系统内部各单位、各环节的工作和各项标准化活动，使它们之间建立起良好的配合关系，有效地实现国家标准化的计划与目标。

名词解释：定量管理法

绩效定量管理法是在过去技术工作大量的数据积累的基础上，采用专家模糊评价和标准实测专家评定、双向协商确定等方法进行确定和逐步改进的。

绩效定量管理法主要考核以下内容： 1、工作业绩 工作业绩考核是指对每个员工在本职工作中完成任务所取得的成绩、成果进行测评的过程。这个评价过程不仅要说明各级员工的工作完成情况，还要通过评价结果指导员工有计划地改进工作，以达到企业发展的目的。

业绩考核主要从数量、质量和效率三个方面对员工的工作业绩进行评价，具体表现为完成工作的数量指标、质量指标以及工作效率指标。 绩效定量管理法通过技术工作量化标准和工作岗位分配，以及对工作质量、工作效果的综合评价，通过二次分配平衡，实现对工作业绩的综合考核。

2、工作能力 工作能力考核是对具体工作所需要的基本能力以及经验性能力进行测评的过程。它包括和工作相关的常识和专业知识；工作所需要的技术、技能和技巧；工作中表现出来的理解力、判断力、创造力等经验性能力；特殊工作所要求的体力。

同业绩相比，能力是内在的，不容易衡量和比较，因此，能力有时并不能通过直接的能力测试来考核，而是需要通过人们的感知察觉来作出判断。 绩效定量管理法通过长期工作量化考核和工作效果、工作质量的综合评定，借助专家模糊评价，进行工作岗位的确认和变动，从岗位的差别和任务的分配体现能力的确认，同时鼓励技术人员主动承担责任，培养、提升技术人员的能力。

3、工作态度 工作态度考核是指对工作热情和工作积极性方面所进行的考评。现实中，工作态度往往影响着员工的工作业绩和能力。

通过对态度的评价，可以鼓励员工发挥工作热情、提高工作积极性，从而达到提高绩效的目的。 绩效定量管理法对态度的考核，基于一定的程序和多角度调查反馈对技术人员的态度进行考核、指导、沟通的多角度管理。

4、潜力 潜力的发挥主要受四个方面的影响：相应的工作机会、合理的工作设计和分配、正确的上级指导或命令、必要的开发。通过潜力评价，可以为工作轮换、升迁等各种人事决策提供依据。

绩效定量管理法采用了三类评价方法：相对评价法、绝对评价法和描述法。 1、相对评价法 1）序列比较法 序列比较法是对按员工工作成绩的好坏进行排序考核的一种方法。

在考核之前，首先要确定考核的模块，但是不确定要达到的工作标准。将相同职务的所有员工在同一考核模块中进行比较，根据他们的工作状况排列顺序，工作较好的排名在前，工作较差的排名在后。

最后，将每位员工几个模块的排序数字相加，就是该员工的考核结果。总数越小，绩效考核成绩越好。

2）相对比较法 相对比较法是对员工进行两两比较，任何两位员工都要进行一次比较。两名员工比较之后，相对较好的员工记“1”，相对较差的员工记“0”。

所有的员工相互比较完毕后，将每个人的得分相加，总分越高，绩效考核的成绩越好。 3）强制比例法 强制比例法是指根据被考核者的业绩，将被考核者按一定的比例分为几类（最好、较好、中等、较差、最差）进行考核的方法。

2、绝对评价法 1）目标管理法 目标管理是通过将组织的整体目标逐级分解直至个人目标，最后根据被考核人完成工作目标的情况来进行考核的一种绩效考核方式。在开始工作之前，考核人和被考核人应该对需要完成的工作内容、时间期限、考核的标准达成一致。

在时间期限结束时，考核人根据被考核人的工作状况及原先制定的考核标准来进行考核。 2）关键绩效指标法 关键绩效指标法是以企业年度目标为依据，通过对员工工作绩效特征的分析，据此确定反映企业、部门和员工个人一定期限内综合业绩的关键性量化指标，并以此为基础进行绩效考核。

3）等级评估法 等级评估法根据工作分析，将被考核岗位的工作内容划分为相互独立的几个模块，在每个模块中用明确的语言描述完成该模块工作需要达到的工作标准。同时，将标准分为几个等级选项，如“优、良、合格、不合格”等，考核人根据被考核人的实际工作表现，对每个模块的完成情况进行评估。

总成绩便为该员工的考核成绩。 4）平衡记分卡 平衡记分卡从企业的财务、顾客、内部业务过程、学习和成长四个角度进行评价，并根据战略的要求给予各指标不同的权重，实现对企业的综合测评，从而使得管理者能整体把握和控制企业，最终实现企业的战略目标。

3、描述法 1）全视角考核法 全视角考核法，即上级、同事、下属、自己和顾客对被考核者进行考核的一种考核方法。通过这种多维度的评价，综合不同评价者的意见，则可以得出一个全面、公正的评价。

2）重要事件法 重要事件是指考核人在平时注意收集被考核人的“重要事件”，这里的“重要事件”是指那些会对部门的整体工作绩效产生积极或消极的重要影响的事件，对这些表现要形成书面记录，根据这些书面记录进行整理和分析，最终形成考核结果。 绩效定量管理法正是在不同的时期和不同的工作状况下，通过对数据的科学处理，及时、准确地考核，协调落实收入、能力、分配关系。

绩效指标的制定以企业战略为出发点，与组织结构相适应，全面反映工。

以上就是关于Perceptron & KNN（面试准备）全部的内容，包括:Perceptron & KNN（面试准备）、如何在实践中学习Python、自定义模块kNN.py中定义了一个函数classify0,但主程序调用时总提示'module' ha等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！