Malayalam

Swathanthra Malayalam Computing project announced the release of new version of Malayalam unicode fonts this week. In this version, there are many improvements for popular Malayalam fonts Rachana and Meera. Dyuthi font has some bug fixes. I am listing the changes below. Meera font was small compared to other fonts. This was not really a problem in Gnome environment since fontconfig allows you to define a scaling factor to match other font size. But it was an issue in Libreoffice, KDE and mainly in Windows where this kind of scaling feature does not work. Thanks to P Suresh for a rework on glyphs and fixing this issue. Rachana, Meera and Dyuthi had wrong glyphs used as placeholder glyphs. Bugs like these are fixed. Virama 0D4D had a wrong LSB that cause the cursor positioning and glyph boundary go wrong. Fixed that bug Atomic Chilu code points introduced in Unicode 5.1 was missing in all the fonts that SMC maintained because of the controversial decision by Unicode and SMC’s stand against that. Issues still exist, but content with code point is present, to avoid any difficulties to users, added those characters to Meera and Rachana fonts. 5. Rupee Symbols added to Meera and Rachana. Thanks to Hiran for designing Sans and Serif glyphs for Rupee. ...

Recently, while preparing a critique for IDN Policy for Malayalam language prepared by CDAC, I noticed that ICANN does not allow control characters in the domain names. Sometime back I noticed Python 3 identifiers also does not allow control characters in the Identifiers. This blog post attempts to analyze the issue by looking at the Unicode and ICANN specifications about these special characters. Apart from the existing characters in Indic languages, Zero width Joiner and Zero width non joiners are widely used in Indic languages to control how the ligatures are formed. For some samples on how they are used, refer the wikipedia links. Being control characters and invisible characters, they are often removed while doing normalization , particularly before doing a string comparison, or collation (sort). ...

വരമൊഴിയിലും മൊഴി കീമാനിലും ( Tavultesoft keyboard) എന്‍കോഡിങ്ങ് പിശകുകള്‍. മലയാളം വിക്കിപ്പീഡിയയിലുള്ള മൊഴി കീമാപ്പിലും ഈ പിശക് ഉണ്ട്. വാക്കുകളുടെ യൂണിക്കോഡ് കോഡ് മൂല്യങ്ങളുടെ വിന്യാസത്തിലാണ് പിശക്. അനാവശ്യമായ ZWNJ ആണ് പ്രശ്നം കുറച്ച് ഉദാഹരണങ്ങളിലൂടെ ഇത് വിശദമാക്കാം. മൊഴി പൊന്‍നിലാവ് (pon_nilaav): ഈ വാക്കിന്റെ ആന്തരിക യൂണിക്കോഡ് റെപ്രസന്റേഷന്‍ എന്താണെന്നറിയാന്‍ പൈത്തണ്‍ പ്രോഗ്രാമ്മിങ്ങ് ഭാഷ ഉപയോഗിക്കാം. str=u”പൊന്‍‌നിലാവ്” print repr(str) u’\u0d2a\u0d4a\u0d28\u0d4d\u200d\u200c\u0d28\u0d3f\u0d32\u0d3e\u0d35\u0d4d’ \u200c(ZWNJ) എന്ന കോഡ് ഇവിടെ അനാവശ്യമാണ്. പൊന്‍നിലാവ് എന്ന വാക്കിന്റെ യഥാര്‍ത്ഥ യൂണിക്കോഡ് ശ്രേണി ഇതാണ്: u’\u0d2a\u0d4a\u0d28\u0d4d\u200d\u0d28\u0d3f\u0d32\u0d3e\u0d35\u0d4d’ ഇത്തരത്തിലുള്ള മറ്റു ചില വാക്കുകളിതാ:(മൊഴി കീമാന്‍ ഉപയോഗിച്ചെഴുതിയത്)- വാക്കുകള്‍ക്കിടയില്‍ ചില്ലക്ഷരം വരുന്നവ: മുന്‍‌തൂക്കം, എന്‍‌കോഡിംഗ്, ചാരന്‍‌മാരാണ് ,നന്‍‌മ,പാന്‍‌ഗോ,പിന്‍‌താങ്ങുന്നുവെന്നു,പിന്‍‌തിരിയണമെന്നും,പിന്‍‌പക്കത്തില്‍,പിന്‍‌വലിഞ്ഞു ,പൊന്‍‌വീണ,പൗരന്‍‌മാര്‍,മന്‍‌മോഹന്‍,മുന്‍‌കൂട്ടി,മുന്‍‌കൈ, ...

മലയാളത്തിന് സ്വതന്ത്ര മലയാളം കമ്പ്യൂട്ടിങ്ങിന്റെ തിരുവോണ സമ്മാനം: ആസ്പെല്‍ മലയാളം സ്പെല്ലിങ്ങ് ചെക്കര്‍(version 0.01-1) 1,37,348 മലയാളം വാക്കുകളടങ്ങിയ മലയാളം സ്പെല്ലിങ്ങ് ചെക്കറിന്റെ ആദ്യ ലക്കം മലയാളത്തിന് സമര്‍പ്പിക്കുന്നു. സ്വതന്ത്ര ഡെസ്ക്ടോപ്പുകളായ ഗ്നോം, കെഡിഇ എന്നിവയില്‍ ഉപയോഗിക്കാവുന്ന ഈ സ്പെല്ലിങ്ങ് ചെക്കര്‍ ഗ്നു ആസ്പെല്‍ എന്ന പ്രശസ്ത സോഫ്റ്റ്‌വെയര്‍ അടിസ്ഥാനമാക്കിയാണ് വികസിപ്പിച്ചിരിക്കുന്നത്. 1,37,348 മലയാളം വാക്കുകളും സ്വയം അക്ഷരത്തെറ്റു പരിശോധിച്ചതാണ്. സമയക്കുറവ്, ശ്രദ്ധക്കുറവ്, വിവരക്കുറവ് എന്നീ കാരണങ്ങളാല്‍ ചില പിഴവുകള്‍ ഇതിലുണ്ടാവാം. ഈ സോഫ്റ്റ്‌വെയര്‍ ഉപയോഗിക്കുമ്പോള്‍ അത്തരം തെറ്റുകള്‍ കാണുകയാണെങ്കില്‍ ദയവായി എന്നെ അറിയിക്കുക. ഇത് ഇന്‍സ്റ്റാള്‍ ചെയ്യാന്‍ https://savannah.nongnu.org/task/download.php?file_id=13811 എന്നിടത്തു നിന്ന് ഡൗണ്‍ലോഡ് ചെയ്ത് extract ചെയ്യുക. അതിനു ശേഷം README ഫയലില്‍ വിവരിച്ചിരിക്കുന്ന പോലെ ചെയ്യുക. ...

Added a new feature to SCIM malayalam phonetic input method. It can give spelling suggestions while typing!!!. Cool right? See the below screenshot from my system. I am editing some text in GEDIT. For typing വിള, I have to type viLa according to the IM Scheme. But as every body does, I typed vila. Now hint menu comes with two suggestions. ള and ല. I press arrow keys and it becomes വിള. ...

This is the key mapping for scim malayalam phonetic keyboard സ്വരങ്ങള്‍ <tr bgcolor="#91D9FF"> <td> അ </td> <td> ആ </td> <td> ഇ </td> <td> ഈ </td> <td> ഉ </td> <td> ഊ </td> <td> ഋ </td> <td> </td> </tr> <tr> <td> a </td> <td> aa A </td> <td> i </td> <td> ii I ee </td> <td> u </td> <td> uu U oo </td> <td> RR </td> <td> </td> </tr> <tr bgcolor="#91D900"> <td> </td> <td> ാ </td> <td> ി </td> <td> ീ </td> <td> ു </td> <td> ൂ </td> <td> ൃ </td> <td> </td> </tr> <tr bgcolor="#91D9FF"> <td> എ </td> <td> ഏ </td> <td> ഐ </td> <td> ഒ </td> <td> ഓ </td> <td> ഔ </td> <td> അം </td> <td> അഃ </td> </tr> <tr> <td> e </td> <td> E </td> <td> ai ei </td> <td> o </td> <td> O </td> <td> au ou </td> <td> a~ aM ~ </td> <td> aH </td> </tr> <tr bgcolor="#91D900"> <td> െ </td> <td> േ </td> <td> ൈ </td> <td> ൊ </td> <td> ോ </td> <td> ൌ </td> <td> ം </td> <td> ഃ </td> </tr> <tr> <td bgcolor="lightGray" colspan="8"> <b><i>വ്യഞ്ജനങ്ങള്‍<i></b></td> </tr> <tr bgcolor="#91D9FF"> <td> ക </td> <td> ഖ </td> <td> ഗ </td> <td> ഘ </td> <td> ങ </td> <td> </td> <td> ങ്ക </td> <td> ന്റെ </td> </tr> <tr > <td> k </td> <td> kh K </td> <td> g </td> <td> gh G </td> <td> ng </td> <td> </td> <td> nk </td> <td> nte </td> </tr> <tr bgcolor="#91D9FF"> <td> ച </td> <td> ഛ </td> <td> ജ </td> <td> ഝ </td> <td> ഞ </td> <td> </td> <td> റ്റ </td> <td> ക്ഷ </td> </tr> <tr> <td> ch </td> <td> Ch </td> <td> j </td> <td> jh J </td> <td> nj </td> <td> </td> <td> TT </td> <td> x </td> </tr> <tr bgcolor="#91D9FF"> <td> ട </td> <td> ഠ </td> <td> ഡ </td> <td> ഢ </td> <td> ണ </td> <td> </td> <td> ക്യു </td> <td> വൈ </td> </tr> <tr > <td> t </td> <td> T </td> <td> D </td> <td> Dh </td> <td> N </td> <td> </td> <td> q </td> <td> Y </td> </tr> <tr bgcolor="#91D9FF"> <td> ത </td> <td> ഥ </td> <td> ദ </td> <td> ധ </td> <td> ന </td> <td> </td> <td> ക്യൂ </td> <td> ഞ്ച </td> </tr> <tr> <td> th </td> <td> thh </td> <td> d </td> <td> dh </td> <td> n </td> <td> </td> <td> Q </td> <td> nch </td> </tr> <tr bgcolor="#91D9FF"> <td> പ </td> <td> ഫ </td> <td> ബ </td> <td> ഭ </td> <td> മ </td> <td> </td> <td> </td> <td> </td> </tr> <tr > <td> p </td> <td> f ph </td> <td> b </td> <td> bh B </td> <td> m </td> <td> </td> <td> </td> <td> </td> </tr> <tr bgcolor="#91D9FF"> <td> യ </td> <td> ര </td> <td> ല </td> <td> വ </td> <td> ശ </td> <td> ഷ </td> <td> സ </td> <td> ഹ </td> </tr> <tr> <td> y </td> <td> r </td> <td> l </td> <td> v w </td> <td> S z </td> <td> sh </td> <td> s </td> <td> h </td> </tr> <tr bgcolor="#91D9FF"> <td> ള </td> <td> ഴ </td> <td> റ </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> L </td> <td> zh </td> <td> R </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td bgcolor="lightGray" colspan="8"> <b><i>ചില്ലുകള്‍</i><b></td> </tr> <tr bgcolor="#91D9FF"> <td> ന്‍ </td> <td> ല്‍ </td> <td> ള്‍ </td> <td> ര്‍ </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> n~ </td> <td> l~ </td> <td> L~ </td> <td> r~ R~ </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr></tbody> </table> <table> <tr> <td> <b>ഉദാഹരണങ്ങള്‍</td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td></tr> <tr> <td> മലയാളം </td> <td> malayaaLaM </td> <td> malayAla~ </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> സരിഗമപധനി </td> <td> sarigamapadhani </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> പൊന്പീലി </td> <td> ponpiili </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> മങ്ക </td> <td> manka </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> കുടുംബം </td> <td> kutu~ba~ </td> <td> kutu~baM </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> അവന്‍ </td> <td> avan~ </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> ചക്ഷുശ്രവണഗളസ്ഥമാം </td> <td> chaxuSravanagalasThamaa~ </td> <td> chaxuSravanagalasThamaa~ </td> <td> chakshuSravanagalasThamaa~ </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> പ്രകൃതി </td> <td> prakRthi </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> കൃഷ്ണന്‍ </td> <td> kRshNan~ </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> പാലക്കാട് </td> <td> paalakkaat </td> <td> pAlakkAt </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr> <tr> <td> അക്ഷരം </td> <td> axaraM </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> <td> </td> </tr></tbody> </table> <p> Please post your comments in [email protected] </p>

It was a wonderful week end. Myself and Benzi were working on the spell checker for Malayalam. In April we had done lot of research on this. We did the coding for the dictionary representation in the Binary Retrieval tree (TRIE). Saturday night we did the candidate list generation coding. It is a wonderful experience to code in the late night – one laptop and two persons to code!!!. Every thing worked fine. When we finished the coding, we realized that the application can be tuned to a universal(?) spell checker. So sunday we tested it using a 3 lakh english words.. Worked fine!!. We compared the spelling options generated with aspell. Ours was giving more options since our dictionary is bigger than aspell’s. ...

Swathanthra Malayalam Computing is participating in Google Summer of Code. More details at http://fci.wikia.com/wiki/SMC/SoC/2007 Excellent opportunity for Students in kerala…. Googel summer of Code:http://code.google.com/soc/