Decision Tree pada tabel ” Play Tennis “
pertama kita mencari entropi dengan rumus :
S : himpunan (dataset) kasus
K : banyak partisi S
Pj : probabilitas yang didapat dari sum (ya) dibagi total kasus
kemudian mencari gain dari setiap attribut
- S : ruang (data) sample yang digunakan untuk training.
- A : atribut.
- |Si| : jumlah sample untuk nilai V.
- |S| : jumlah seluruh sample data.
- Entropi(Si) : entropy untuk sample-sample yang memiliki nilai i
Cara membuat Decision Tree:
- Cari nilai gain tertinggi dari setiap atribut yang ada ,maka attribute tersebut menjadi root pada iterasi pertama.
- Jika entropi pada nilai attribute tersebut adalah 0 ,maka nilai tersebut merupakan Sedangkan nilai lainnya akan digunakan untuk iterasi selanjutnya..
- Gunakan nilai attribute yang bukan Leaf tersebut sebagai pivot , untuk dicari entropy dan gain pada iterasi selanjutnya.
- Lakukan langkah tersebut sampai nilai entropy pada semua nilai attribute = 1.