Perkaya pengetahuan Anda dengan paper-paper berikut ini
Machine learning adalah bagian dari artificial intelligence yang dapat memberikan nilai pada bisnis dengan memberikan efisiensi dan wawasan prediktif. Ini adalah alat yang berharga untuk setiap bisnis.
Kita tahu bahwa tahun lalu penuh dengan terobosan dalam machine learning, dan tahun ini tidak jauh berbeda. Ada begitu banyak yang bisa dipelajari.
Dengan begitu banyak yang harus dipelajari, saya memilih beberapa paper pada tahun 2024 yang harus Anda baca untuk meningkatkan pengetahuan Anda.
Apa saja paper tersebut? Mari kita bahas.
HyperFast: Instant Classification for Tabular Data
HyperFast adalah model hypernetwork yang dilatih secara meta yang dikembangkan oleh Bonet et al. (2024). Model ini dirancang untuk menyediakan model klasifikasi yang mampu mengklasifikasikan data tabular secara instan dalam satu forward pass.
Penulis menyatakan bahwa HyperFast dapat menghasilkan neural network untuk tugas spesifik pada dataset yang belum pernah dilihat sebelumnya serta dapat langsung digunakan untuk prediksi klasifikasi dan menghilangkan kebutuhan untuk melatih model. Pendekatan ini akan secara signifikan mengurangi permintaan komputasi dan waktu yang diperlukan untuk menerapkan model machine learning.
Framework HyperFast menunjukkan bahwa data input diubah melalui standardization dan dimensionality reduction, dilanjutkan dengan serangkaian hypernetwork yang menghasilkan bobot untuk lapisan jaringan, yang mencakup klasifikasi bias berbasis nearest neighbor.
Secara keseluruhan, hasilnya menunjukkan bahwa HyperFast bekerja sangat baik. Ini lebih cepat daripada banyak metode klasik tanpa perlu fine-tuning. Paper ini menyimpulkan bahwa HyperFast dapat menjadi pendekatan baru yang dapat diterapkan dalam banyak kasus nyata.
EasyRL4Rec: A User-Friendly Code Library for Reinforcement Learning Based Recommender Systems
Paper berikutnya yang akan kita bahas adalah tentang library baru yang diusulkan oleh Yu et al. (2024) yang disebut EasyRL4Rec. Inti dari paper ini adalah kode library yang ramah pengguna yang dirancang untuk mengembangkan dan menguji Sistem Rekomendasi (Recommender Systems / RSs) berbasis Reinforcement Learning (RL) yang disebut EasyRL4Rec.
Library ini menawarkan struktur modular dengan empat modul inti (Environment, Policy, State Tracker, dan Collector), masing-masing menangani berbagai tahap proses Reinforcement Learning.
Keseluruhan struktur menunjukkan bahwa modul-modul ini bekerja di sekitar modul inti untuk Reinforcement Learning workflow — termasuk Environments (Envs) untuk mensimulasikan interaksi pengguna, Collector untuk mengumpulkan data dari interaksi, State Tracker untuk membuat representasi status, dan modul Policy untuk pengambilan keputusan. Ini juga termasuk layer data untuk mengelola dataset dan layer executor dengan Trainer Evaluator untuk mengawasi pembelajaran dan penilaian kinerja agen RL.
Penulis menyimpulkan bahwa EasyRL4Rec berisi framework yang ramah pengguna yang dapat menangani tantangan praktis dalam RL untuk sistem rekomendasi.
Label Propagation for Zero-shot Classification with Vision-Language Models
Paper dari Stojnic et al. (2024) memperkenalkan teknik yang disebut ZLaP, yang merupakan singkatan dari Zero-shot classification with Label Propagation. Ini adalah peningkatan untuk Zero-Shot Classification of Vision Language Models dengan memanfaatkan jarak geodesik untuk klasifikasi.
Seperti yang kita ketahui, Vision Models seperti GPT-4V atau LLaVa, mampu melakukan pembelajaran zero-shot, yang dapat melakukan klasifikasi tanpa gambar berlabel. Namun, ini masih dapat ditingkatkan lebih lanjut, itulah sebabnya sekelompok peneliti mengembangkan teknik ZLaP.
Ide inti ZLaP adalah memanfaatkan propagasi label pada kumpulan data berstruktur grafik yang terdiri dari simpul gambar dan teks. ZLaP menghitung jarak geodesik di dalam grafik ini untuk melakukan klasifikasi. Metode ini juga dirancang untuk menangani modalitas ganda teks dan gambar.
Secara kinerja, ZLaP menunjukkan hasil yang secara konsisten mengungguli metode mutakhir lainnya dalam pembelajaran zero-shot dengan memanfaatkan metode inferensi transduktif dan induktif pada 14 dataset eksperimen yang berbeda.
Secara keseluruhan, teknik ini secara signifikan meningkatkan akurasi klasifikasi di berbagai dataset, yang menunjukkan potensi teknik ZLaP dalam Vision Language Model.
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
Paper keempat yang akan kita bahas adalah dari Munkhdalai et al.(2024). Paper mereka memperkenalkan sebuah metode untuk menskalakan Large Language Model (LLM) berbasis Transformer yang dapat menangani input dengan panjang tak terhingga menggunakan kemampuan komputasi terbatas yang disebut Infini-attention.
Mekanisme Infini-attention mengintegrasikan sistem memori kompresif ke dalam kerangka kerja perhatian tradisional. Menggabungkan model perhatian kausal tradisional dengan memori kompresif dapat menyimpan dan memperbarui konteks historis serta memproses rangkaian yang diperpanjang secara efisien dengan menggabungkan informasi jangka panjang dan lokal dalam jaringan transformer.
Mekanisme Infini-attention mengintegrasikan sistem memori kompresif ke dalam kerangka perhatian (attention framework) tradisional. Kombinasi model perhatian kausal (causal attention model) dengan memori kompresif dapat menyimpan dan memperbarui konteks historis serta secara efisien memproses baris data yang panjang dengan menggabungkan informasi jangka panjang dan lokal di dalam jaringan transformer.
Secara keseluruhan, teknik ini menunjukkan kinerja unggul dalam tugas-tugas yang melibatkan pemodelan bahasa dengan konteks panjang, seperti pengambilan kata sandi dari rangkaian panjang dan peringkasan buku, dibandingkan dengan model yang tersedia saat ini.
Teknik ini berpotensi membuka banyak pendekatan baru di masa depan, terutama untuk aplikasi yang membutuhkan pemrosesan data teks yang luas.
AutoCodeRover: Autonomous Program Improvement
Paper terakhir yang akan kita bahas adalah oleh Zhang et al. (2024). Fokus utama dari paper ini adalah pada alat yang disebut AutoCodeRover, yang memanfaatkan Large Language Models (LLMs) yang mampu melakukan pencarian kode yang canggih untuk mengotomatisasi penyelesaian masalah GitHub, terutama bug dan feature requests.
engan menggunakan LLMs untuk menganalisis dan memahami masalah dari GitHub, AutoCodeRover dapat menavigasi dan memanipulasi struktur kode lebih efektif daripada pendekatan berbasis file tradisional untuk menyelesaikan masalah.
AutoCodeRover bekerja dalam dua tahap utama: Tahap Pengambilan Konteks (Context Retrieval) dan Tahap Pembuatan Patch (Patch Generation). Cara kerjanya adalah dengan menganalisis hasil untuk memeriksa apakah informasi yang dikumpulkan sudah cukup untuk mengidentifikasi bagian kode yang bermasalah, kemudian mencoba membuat patch untuk memperbaiki masalah tersebut.
Paper ini menunjukkan bahwa AutoCodeRover meningkatkan performa dibandingkan dengan metode sebelumnya. Misalnya, AutoCodeRover berhasil menyelesaikan 22–23% masalah dari dataset SWE-bench-lite, yang mana menyelesaikan 67 masalah dengan rata-rata waktu kurang dari 12 menit per masalah. Ini merupakan peningkatan karena sebelumnya rata-rata dibutuhkan waktu dua hari untuk menyelesaikan masalah.
Secara keseluruhan, makalah ini menunjukkan harapan besar karena AutoCodeRover secara signifikan mampu mengurangi upaya manual yang diperlukan dalam tugas pemeliharaan dan peningkatan program.
Kesimpulan
Ada banyak paper machine learning yang bisa dibaca pada tahun 2024, dan berikut adalah rekomendasi saya untuk dibaca:
HyperFast: Instant Classification for Tabular Data
EasyRL4Rec: A User-Friendly Code Library for Reinforcement Learning Based Recommender Systems
Label Propagation for Zero-shot Classification with Vision-Language Models
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
AutoCodeRover: Autonomous Program Improvement
Semoga bermanfaat!
コメント