Malayalam

മലയാളത്തിൽ AI കോർപ്പസ് നിർമിക്കാനായി പത്തുകോടി രൂപ ഈയിടെ അവതരിപ്പിച്ച കേരളബഡ്ജറ്റിൽ നീക്കിയിരിത്തിയിട്ടുണ്ട്. ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് സമീപകാലത്ത് നേടിയിട്ടുള്ള വലിയ പുരോഗതിയുടെ പശ്ചാത്തലത്തിൽ മലയാളഭാഷ പുറംതള്ളാതെയിരിക്കാനായിട്ടാണ് ഈ “മലയാളം AI സംരംഭം” ബഡ്ജറ്റിൽ വിഭാവനം ചെയ്തിരിക്കുന്നത്. അത് സദുദ്ദേശപരവും കാലോചിതവുമാണ്. അതോടൊപ്പം തന്നെ ഈ പത്തുകോടികൊണ്ട് നമുക്കെന്തു ചെയ്യാനാകുമെന്നതിനെക്കുറിച്ചുള്ള കുറച്ചുചിന്തകൾ കൂടി പങ്കുവെക്കട്ടെ. എന്താണ് ഒരു കോർപ്പസ്? AI മോഡലുകളുടെ പരിശീലനത്തിന് അതിവിപുലമായ ഉള്ളടക്കം ആവശ്യമാണ്. ഇത് ടെക്സ്റ്റ് ആവാം, ചിത്രങ്ങളാവാം, സംഭാഷണങ്ങളുടെ റെക്കോർഡിങ്ങ് ആവാം. ഇതിനെയാണ് ട്രെയിനിങ്ങ് കോർപ്പസ്സ് എന്ന് വിളിക്കുന്നത്. എത്രത്തോളം വലുതാണ് കോർപ്പസ് അത്രത്തോളം ഈ മോഡലുകൾ മെച്ചമായിരിക്കുമെന്നാണ് നിലവിലെ ലാർജ് ലാംഗ്വേജ് മോഡലുകളുടെ സാങ്കേതികവിദ്യ. അതിനായി, ഇത്തരം മോഡലുകളുടെ നിർമാതാക്കളും ഗവേഷകരും ഇന്റർനെറ്റിൽ നിന്ന് കിട്ടാവുന്ന എല്ലാ ഡാറ്റയും ഉപയോഗിക്കാൻ ശ്രമിക്കുകയാണ്. ഈ മത്സരത്തിൽ പകർപ്പവകാശവും ഉള്ളടക്കത്തിന്റെ ഉടമസ്ഥാവകാശവുമൊക്കെ പലവട്ടം കോടതി കേറിയിറങ്ങിയെങ്കിലും വലിയവിജയമൊന്നും നേടിയിട്ടില്ല. ...

As a programmer, I spend most of my time in a terminal application like Kitty. I use Neovim as my code editor. I use CLI based AI agents. But the biggest pain, even in 2026, is that there is no terminal that can render complex scripts like Indic languages or Arabic. This is a significant limitation for me, as most of my work involves language processing. In this article, I will give a brief overview of why this issue remains unsolved—covering the character-cell grid model, width measurement, and the distinction between text shaping and rendering—along with ongoing efforts and a small tool I built recently that illustrates a solution path. ...

I’m excited to announce two new resources for natural language processing researchers and developers: wikisentences - A Rust-based tool for extracting sentence datasets from Wikipedia dumps in any language ml-wiki-sentences - A dataset of 2.25 million Malayalam sentences extracted from Wikipedia, now available on HuggingFace, prepared using the above tool. The Wikisentences Tool The wikisentences project provides a complete pipeline for creating sentence datasets from Wikipedia content: Core Technology wiki-html-text-extractor (Rust) - Uses tree-sitter-html to parse article HTML and extract clean plain text sentencex (Rust) - Handles accurate sentence segmentation across languages. See my recent article about this library Four-Stage Pipeline Download enterprise HTML dumps from WikimediaThere is no recent html dumps for wikipedia, except this one year old dump Convert JSON dumps to Parquet format (id, name, url, language, html) Extract plain text from HTML (id, url, name, text) Segment text into sentences (id, url, name, sentence, sentence_index) Each stage is handled by a separate Python script, with the heavy lifting done by efficient Rust binaries. The pipeline is designed to be memory-efficient, streaming data between stages without writing intermediate files to disk. ...

Ever wondered how a computer learns to generate text that actually looks like Malayalam? Not just random characters, but something with actual structure? I’m not talking about Large Language Models here. I’m talking about Small Language Models that are efficient and explainable. something you can build and run on your own laptop. In my previous “The Broken Token” article, I presented a Malayalam unigram tokenizer and analysed its strengths and weaknesses. I did fertility rate evaluation and then analysed the tokenization in the context of Malayalam language characteristics. A common evaluation method for tokenizers is using them in downstream tasks—so I decided to build a text generator. That’s where things got interesting. ...

Tokenization is the first cut a language model makes on text. For Malayalam, that cut has almost always been in the wrong place — and the consequences reach much further than efficiency. Most large language models use tokenizers trained primarily on English and related Latin-script languages. When those tokenizers encounter Malayalam, the results range from inefficient to broken. Andrej Karpathy captured this as follows: This post is in two connected parts. The first is a technical exercise: I trained two subword tokenizers for Malayalam — one BPE, one Unigram — on the SMC Malayalam corpus and published them on HuggingFace. I explain the algorithms, the design choices that make them suitable for Malayalam, and measure their fertility against a cross-section of major LLMs including GPT-4, Gemma, Sarvam, and LLaMA. ...

ഭാഷ തടസ്സമാകാതിരിക്കാൻ സഞ്ചാരികളെ സഹായിക്കാൻ AI Kiosk കൾ സ്ഥാപിക്കും എന്ന മന്ത്രി മുഹമ്മദ് റിയാസ് നിയമസഭയിൽ പറഞ്ഞെന്ന് പത്രത്തിൽ വായിച്ചു. നിർമിതബുദ്ധിയിൽ പ്രവർത്തിക്കുന്ന കിയോസ്കുകൾ അവർക്ക് അവരുടെ ഭാഷയിൽ മറുപടി കൊടുക്കുമെന്നാണ് മന്ത്രി പറഞ്ഞത്. ഭാഷ തടസ്സമാകാതിരിക്കാൻ സഞ്ചാരികളെ സഹായിക്കാൻ AI Kiosk കൾ സ്ഥാപിക്കും -ദേശാഭിമാനി പത്രം - ജൂലൈ 12, 2024 ചില ചോദ്യങ്ങൾ ഏതെങ്കിലും വിനോദസഞ്ചാരകേന്ദ്രത്തെക്കുറിച്ച് നിലവിൽ സഞ്ചാരികൾ അറിയുന്നതും സംശയങ്ങൾ തീർക്കുന്നതും എങ്ങനെയാണ്? അതിൽ എന്ത് പോരായ്മകളാണ് ഉള്ളത്? ഇന്റർനെറ്റ് കണക്ഷനുള്ള മൊബൈൽ ഫോണുകളിൽ ലഭ്യമല്ലാത്ത എന്തു സൗകര്യമാണ് ഈ കിയോസ്കുകളിൽ ഉണ്ടാകുക? ഇന്റർനെറ്റിൽ ലഭ്യമല്ലാതിരിക്കുകയും എന്നാൽ കിയോസ്കുകളിൽനിന്നു മാത്രം അറിയാൻ കഴിയുന്നതുമായ എന്തെങ്കിലും വിവരങ്ങൾ ഉണ്ടോ? ...

ഡോ. പുതുശ്ശേരി രാമചന്ദ്രൻ അനുസ്മരണ ദേശീയസെമിനാറും പുരസ്കാരവിതരണവും 2024 ഫെബ്രുവരി 26, 27, 28 തിയതികളിൽ കേരളയൂണി. കേരളപഠനവിഭാഗം സെമിനാർഹാൾ, കാര്യവട്ടം കാമ്പസിൽ നടന്നു. “നവസാങ്കേതികയും സർഗ്ഗാത്മകസാധ്യതകളും " എന്നതായിരുന്നു സെമിനാർ വിഷയം. “മലയാളത്തിന്റെ ഡിജിറ്റൽ സൗന്ദര്യം” എന്ന വിഷയം ഞാൻ അവതരിപ്പിച്ചു. അവതരണം ഒന്നരമണിക്കൂർ ഉള്ള ഈ പ്രഭാഷണം നിരവധി ചിത്രങ്ങളുടെയും വീഡിയോകളുടെയും ഇല്ലസ്ട്രേഷനുകളുടെയും സഹായത്തോടെയുള്ളതാണ്. ഇരുനൂറ്റമ്പത് കൊല്ലത്തെ മലയാളത്തിന്റെ അച്ചടി ചരിത്രത്തിൽ അക്ഷരങ്ങളുടെ സൗന്ദര്യത്തിൽ വന്ന മാറ്റങ്ങൾ, ആ മാറ്റങ്ങൾക്ക് സാങ്കേതികവിദ്യ, അധികാരവ്യവസ്ഥ എന്നിവ എങ്ങനെ കാരണമായി? ആ മാറ്റങ്ങളുടെ സവിശേഷതകൾ, നാൾവഴികൾ എന്ത്? ഇന്നത്തെ കാലത്തെ അക്ഷരങ്ങളുടെ സൗന്ദര്യാവിഷ്കാരം ഫോണ്ടുകൾ വഴിയാണെന്നതുകൊണ്ട് മലയാളത്തിന്റെ സൗന്ദര്യത്തെ എങ്ങനെ ഫോണ്ടുകൾ ആവിഷ്കരിക്കുന്നു? എന്താണ് സൗന്ദര്യം? അക്ഷരങ്ങളുടെ വടിവിനെ ടെക്നോളജി എങ്ങനെ നിർവചിക്കുന്നു, അതെങ്ങനെ സാധ്യമാക്കുന്നു? ...

നിർമിതബുദ്ധിമാതൃകകളിലെ മലയാളം എന്ന വിഷയത്തിൽ ശ്രീശങ്കരാചാര്യ കാലടി സംസ്കൃതസർവകലാശാലയുടെ തിരുനാവായ പ്രാദേശിക കേന്ദ്രത്തിൽ ജനുവരി ആറിന് പ്രഭാഷണം നടത്തി. ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസിൽ മലയാളം ഒരു ഭാഷ എന്ന നിലയിൽ എവിടെ എത്തിനിൽക്കുന്നു, ഭാഷയുടെ പ്രത്യേകതകൾ എങ്ങനെയാണ് ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് മോഡലുകൾ പ്രവർത്തിക്കുന്നത്, മറ്റുഭാഷകളെ അപേക്ഷിച്ച് എന്തൊക്കെ വെല്ലുവിളികളാണ് മലയാളത്തിനുള്ളത് തുടങ്ങിയ വിഷയങ്ങളാണ് അവതരിപ്പിച്ചത്. slides Video recording is given below:

ഏറെക്കാലമായി പലരും ചോദിക്കുന്ന ഒരു സംശയമാണ് അക്കങ്ങളുടെ കൂടെ ആം ചിഹ്നം എഴുതുമ്പോൾ വരുന്ന കുത്തുവട്ടം എങ്ങനെ കളയാമെന്ന്. 16-ാം, 18ാം തുടങ്ങിയ ഉദാഹരണങ്ങൾ. ഒട്ടുമിക്ക അപ്ലിക്കേഷനുകളുടെ പുതിയ പതിപ്പുകളിലും ഈ പ്രശ്നം കാണില്ല. ലിബ്രെഓഫീസിൽ പക്ഷേ ഈ പ്രശ്നം തുടരുന്നുണ്ട്. ഇതിനു പരിഹാരമായി ഫോണ്ടുകളിൽ ഒരു ചെറിയ പുതുക്കൽ നടത്തിയിട്ടുണ്ട്. മഞ്ജരി, ഗായത്രി, ചിലങ്ക, നൂപുരം ഫോണ്ടുകളുടെ പുതിയ പതിപ്പുപയോഗിച്ചാൽ ഈ പ്രശ്നം ഒഴിവാകും. പുതിയ പതിപ്പുകൾ smc.org.in/fonts എന്ന പേജിൽ നിന്നെടുക്കാം.

Manjari is a traditional orthography font for Malayalam. It has large set of ligatures, vowel signs like /u/ get attached to its corresponding consonants to form ligatures. But, sometimes there are requirements to illustrate new orthography Malayalam content in Manjari. Recently, Manjari was used to typeset an academic book related to Malayalam script and it was required to show some content in new orthography with detached vowel signs and detached reph signs. Using a different font that follows new orthography such as Noto Sans Malayalam was possible, but mixing Noto and Manjari won’t give a pleasant reading experience. ...