Isi
- Definisi - Apa arti Tokenisasi?
- Pengantar Microsoft Azure dan Microsoft Cloud | Sepanjang panduan ini, Anda akan mempelajari tentang apa itu cloud computing dan bagaimana Microsoft Azure dapat membantu Anda untuk bermigrasi dan menjalankan bisnis Anda dari cloud.
- Techopedia menjelaskan Tokenisasi
Definisi - Apa arti Tokenisasi?
Tokenisasi adalah tindakan memecah urutan string menjadi beberapa bagian seperti kata, kata kunci, frasa, simbol, dan elemen lain yang disebut token. Token dapat berupa kata, frasa, atau bahkan seluruh kalimat individual. Dalam proses tokenization, beberapa karakter seperti tanda baca dibuang. Token menjadi input untuk proses lain seperti penguraian dan penambangan.
Tokenisasi digunakan dalam ilmu komputer, di mana ia memainkan peran besar dalam proses analisis leksikal.
Pengantar Microsoft Azure dan Microsoft Cloud | Sepanjang panduan ini, Anda akan mempelajari tentang apa itu cloud computing dan bagaimana Microsoft Azure dapat membantu Anda untuk bermigrasi dan menjalankan bisnis Anda dari cloud.
Techopedia menjelaskan Tokenisasi
Tokenisasi sebagian besar bergantung pada heuristik sederhana untuk memisahkan token dengan mengikuti beberapa langkah:
- Token atau kata-kata dipisahkan oleh spasi, tanda baca atau jeda baris
- Ruang putih atau tanda baca mungkin termasuk atau tidak tergantung pada kebutuhan
- Semua karakter dalam string yang berdekatan adalah bagian dari token. Token dapat terdiri dari semua karakter alfa, karakter alfanumerik, atau karakter numerik saja.
Token sendiri juga bisa menjadi pemisah. Misalnya, dalam sebagian besar bahasa pemrograman, pengidentifikasi dapat ditempatkan bersama dengan operator aritmatika tanpa spasi. Meskipun tampaknya ini akan muncul sebagai satu kata atau token, tata bahasa sebenarnya menganggap operator matematika (token) sebagai pemisah, sehingga bahkan ketika beberapa token dikelompokkan bersama, mereka masih dapat dipisahkan melalui matematika operator.