Decision Tree ( Konsep Data Mining )

Decision Tree  pada tabel ” Play Tennis “

pertama kita mencari entropi dengan rumus :

S : himpunan (dataset) kasus

K : banyak partisi S

Pj : probabilitas yang didapat dari sum (ya) dibagi total kasus

 

kemudian mencari gain dari setiap attribut

 

1. S : ruang (data) sample yang digunakan untuk training.
2. A : atribut.
3. |S_i| : jumlah sample untuk nilai V.
4. |S| : jumlah seluruh sample data.
5. Entropi(S_i) : entropy untuk sample-sample yang memiliki nilai i

Cara membuat Decision Tree:

• Cari nilai gain tertinggi dari setiap atribut yang ada ,maka attribute tersebut menjadi root pada iterasi pertama.
• Jika entropi pada nilai attribute tersebut adalah 0 ,maka nilai tersebut merupakan Sedangkan nilai lainnya akan digunakan untuk iterasi selanjutnya..
• Gunakan nilai attribute yang bukan Leaf tersebut sebagai pivot , untuk dicari entropy dan gain pada iterasi selanjutnya.
• Lakukan langkah tersebut sampai nilai entropy pada semua nilai attribute = 1.