机器学习:概念学习

一、概念

概念学习：是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。

二、概念学习任务

任何概念学习任务能被描述为：实例的集合X、实例集合上的目标函数c、候选假设的集合H以及训练样例的集合D。

例：目标概念：“Aldo进行水上运动的日子”

 

目标概念EnjoySport的正例和反例

Example	Sky	AirTemp	humidity	Wind	Water	Forecast	EnjoySport
1	Sunny	Warm	Normal	Strong	Warm	Same	Yes
2	Sunny	Warm	High	Strong	Warm	Same	Yes
3	Rainy	Cold	High	Strong	Warm	Change	No
4	Sunny	Warm	High	Strong	Cool	Change	Yes

 

已知：

　　实例集X：可能的日子，每个日子由下面的属性描述：

　　　　sky:(可取值 sunny,Cloudy和Rainy)

　　　　AirTemp:(可取值为Warm和Cold)

　　　　Humidity:(可取值为Normal和High)

　　　　Wind:(可取值为：Strong和Weak)

　　　　Water：(可取值为Warm和Cold)

　　　　Forecast:(可取值为Same和Change)

　　假设集H：每个假设描述为6个属性：Sky,AirTemp,Humidity,Wind,Water和Forecast的值约束的合取。约束可以为“？”（表示接受任意值），“ø”（表示拒绝所有值），或一特定值

　　目标概念C:EnjoySport: X->{0,1}

　　训练样例集D：目标函数的正例和反例

求解：

　　H中的一假设h，使对于X中任意x，h(x)=c(x)

 1.术语定义

实例集（X）:概念定义的实例集合

目标概念（c）：待学习概念或函数

训练样例（D）:每个样例为X中的一个实例x以及它的目标概念值c(x)。c(x)=1的实例被称为正例（positive example），c(x)=0的实例为反例（negative example），经常用序偶<x,c(x)>来描述训练样例。

H表示所有可能假设的集合。H中每个假设H表示X上定义的布尔函数，即h:X->{0,1}。机器学习的目标就是寻找一个假设h，使对于X中的所有x，h(x)=c(x)。

归纳学习假设：任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。

 2.作为搜索的概念学习

定义：令hj和hk为在X上定义的布尔函数。称hj more_general_than_or_equal_to hk（记做hj≥g hk），当且仅当(∨x∈X)[(hk(x)=1)->(hj(x)=1)]

hj more_specific_than hk ，当hk more_general_than hj

3.FIND-S：寻找极大特殊假设

从H中最特殊假设开始，然后在该假设覆盖正例失败时将其一般化（当一假设能正确地划分一个正例时，称该假设“覆盖”该正例）。

                                        FIND-S算法

　　　1. 将h初始化为H中最特殊假设

　　　2.对每个正例x

　　　　对h的每个属性约束ai

　　　　   如果x满足ai

　　　　   那么不做任何处理

　　　　   否则将h中ai替换为x满足的下一个更一般的约束

　　   3. 输出假设h

Java实现如下：

/**
 * Created by 玺 on 2017/12/10.
 */
public class FindSdata {

    private static String concept[] = new String[6];

    public static void main(String[] args) {
        String[][] TestState = {{"Sunny","Warm","Normal","Strong","Warm","Same","Yes"},{"Sunny","Warm","High","Strong","Warm","Same","Yes"},
            {"Rainy","Cold","High","Strong","Warm","Change","No"},{"Sunny","Warm","High","Strong","Cool","Change","Yes"}};
        Find_S(TestState,4,7);
        System.out.print("<");
        int i;
        for(i=0;i<5;i++)
        {
            System.out.print(concept[i]+",");
        }
        System.out.print(concept[i]+">");
    }

    private static void Find_S(String[][] testState, int m, int n) {

        for(int i=0;i<n-1;i++){
            concept[i] = testState[0][i];
        }
        for(int i=1;i<m;i++){
            if(testState[i][n-1].equals("Yes"))
            {
                for(int j=0;j<n-1;j++)
                {
                    if(concept[j].equals(testState[i][j]))
                    {
                        concept[j]="?";
                    }
                }
            }
        }

    }
}

运行结果：

<?,?,Normal,?,?,?>
Process finished with exit code 0