Optimasi Struktur Convolutional Neural Network LeNet5m dengan Pendekatan MorphNet

Abstract

Pendekatan perancangan neural network saat ini, menghasilkan rancangan yang tidak efisien. Rancangan yang tidak efisien ini menyebabkan penggunaan sumber daya yang lebih tinggi dibandingkan network yang lebih efisien. Hal ini juga merupakan permasalahan yang dialami network LeNet5, sebuah convolutional neural network untuk klasifikasi digit tulisan tangan yang dilatih dengan menggunakan dataset MNIST. Kami mengusulkan pendekatan MorphNet untuk optimasi kebutuhan flops-nya. Pendekatan MorphNet mengerdilkan network dengan menggunakan L1 regularization untuk menonaktifkan neuron pada tingkat aktivasinya. Neuron yang tidak aktif ini memiliki imbas yang kecil terhadap kinerja network, sehingga akan diusulkan untuk dihilangkan pada struktur yang baru. Network ini kemudian dapat dibesarkan untuk realokasi sumber daya. Sebagai hasilnya, didapatkan beberapa network baru yang lebih efisien dalam kebutuhan flops hingga 69%, dengan tetap mempertahankan tingkat akurasi pada rentang 98.5%. Kami menyimpulkan bahwa pendekatan MorphNet berhasil meningkatakan efisiensi dengan cara menghilangkan neuron yang berimbas kecil terhadap kinerja network.

Keywords

• morphnet
• digit tulisan tangan
• convolutional neural network
• klasifikasi