ഐഡന്റിഫയറുകളില്‍ ചില സ്പെസിഫിക് കോണ്ടക്സ്റ്റിലുള്ള zwnj മാത്രമേ തള്ളാതിരിക്കൂ.
റഫര്‍: http://unicode.org/review/pr-96.html

“# A Letter, followed by a Virama, followed by a ZWNJ, followed by an Letter,
where the Letters and Virama are all in the Malayalam script, or they are all in the Khmer script

* Issue: is the Khmer inclusion required semantically?

# This corresponds to the following regular expression (in Perl-style syntax): /$L $V ZWNJ $L/
where:

* $L = [:General_Category=Letter:]
* $V = [:Canonical_Combining_Class=Virama:]

“

വരമൊഴിയില്‍ ഇതു് ചെയ്യാന്‍ പറ്റുമെന്നു് ഞാന്‍ കരുതുന്നില്ല. ആസ്കിയില്‍ എഴുതിയ ടെക്സ്റ്റും അതിന്റെ ഒരു ഇന്‍പുട്ടാണു്. പദ്മ ചെയ്യുന്നതു് പോലെ മൊത്തം നോണ്‍ജോയ്നര്‍ തള്ളുക മാത്രമേ ചെയ്യാന്‍ പറ്റുകയുള്ളൂ. അതു് അവര്‍ ചെയ്യുമെന്നു് തോന്നുന്നില്ല, പ്രത്യേകിച്ചു് നോണ്‍ജോയ്നര്‍ ഒരു പ്രശ്നമേ അല്ല എന്ന കരുതുന്നവരാണധികവും.
യൂണിക്കോഡ് ഐഡന്റിഫയറുകളില്‍ നോണ്‍ജോയ്നര്‍ തള്ളരുതു് എന്ന ഒരു ഭേദഗതി വരുന്നുണ്ടെങ്കില്‍ പോലും.

റാല്‍മിനോവ്

എന്റെ കൈവശമുള്ള 1,42,000 വാക്കുകളില്‍ നടത്തിയ പരിശോധനയില്‍ നാലായിരത്തോളം വാക്കുകള്‍ പിശകാണെന്ന് കണ്ടുപിടിക്കുകയും തിരുത്തുകയും ചെയ്തു. സ്പെല്ലിങ് ചെക്കറില്‍ പിശകുണ്ടെന്ന് സ്വമകയുടെ മെയിലിങ് ലിസ്റ്റില്‍ അറിയിക്കുകയും ചെയ്തിട്ടുണ്ട്.

വിക്കിപീഡിയയില്‍ മൊഴി ഉപയോഗിച്ച് എഴുതുന്നവരെല്ലാം ഈ ബഗ്ഗിനെ കുറിച്ച് അറിഞ്ഞിരിക്കണം എന്നാണ് എന്റെ അഭിപ്രായം.

ZWJ, ZWNJ എന്നിവ ഉപയോക്താക്കളില്‍ നിന്ന് മറച്ചുവക്കുക എന്നത് ലിപ്യന്തരണ നിവേശകരീതികളുടെ ഫീച്ചറുകളില്‍ ഒന്നാണല്ലോ. പക്ഷേ ഇതിലൊരു കുഴപ്പമുണ്ട്. ZWJ എവിടെ ഉപയോഗിക്കണമെന്ന് ഒരു പ്രോഗ്രാം ലോജിക്കിന് മനസ്സിലാക്കാം. അതായത് ചില്ലക്ഷരങ്ങള്‍ക്ക് മാത്രമേ അവ വേണ്ടൂ, ZWNJ എവിടെ ഉപയോഗിക്കണമെന്ന് പ്രോഗ്രാം ലോജിക്കിന് തീരുമാനിക്കാന്‍ പറ്റില്ല. അത് വാക്കുകളുടെ പ്രകൃതം അനുസരിച്ചിരിക്കും. സദ്വാരം സദ്‌വാരം എന്നീ വാക്കുകളില്‍ എപ്പോള്‍ ZWNJ ഇടണമെന്ന് എഴുതുന്ന ആളാണ് തീരുമാനിക്കേണ്ടത്. പ്രോഗ്രാം ലോജിക്ക് ZWNJ ന് വേണ്ടി ഒരു ലോജിക്കും എഴുതാന്‍ പാടില്ല. ഇനി എഴുതിയാല്‍ തന്നെ അതു ശരിയാവുകയുമില്ല. അപ്പോള്‍ ZWNJ ക്ക് വേണ്ടി ചെയ്യേണ്ടത് , കോണ്ടക്സ്റ്റ് നോക്കാതെ ഒരു കീമാപ്പ് കൊണ്ട് ZWNJ ഇടുന്ന ഒരു നിയമം നിര്‍വചിക്കലാണ്. ഉദാഹരണം _ . _ എപ്പോള്‍ ഇട്ടാലും അതൊരു ZWNJ ആയിരിക്കും എന്ന നിയമം പറയുക. ഏതാണ്ട് ഇന്‍സ്ക്രിപ്റ്റ് പോലെ തന്നെ.
ഇതിനു വിപരീതമായി ZWNJ വരാന്‍ വേണ്ടി എഴുതിയ , എപ്പോഴും ZWNJ ഇടാനുള്ള കോഡാണ് പ്രശ്നമുണ്ടാക്കിയത് എന്നു ഞാന്‍ മനസ്സിലാക്കുന്നു.
സ്വനലേഖയില്‍ ഞാന്‍ ചെയ്യുന്നതെന്തെന്ന് പറയാം. ZWNJ ഇടാന്‍ ~ _ ആണ് സ്വനലേഖയില്‍ ഉപയോഗിക്കേണ്ടത്. n, N,l,L,r,R എന്നീ അക്ഷരങ്ങള്‍ക്ക് ശേഷം ~/_ വന്നാല്‍ അവ ZWJ ആണ്. അല്ലാത്ത സമയങ്ങളില്‍ ZWNJ യും ആകും. അതായത് th_= ത്+ZWNJ ,n_=ന്‍ , th~=ത്+ZWNJ n~=ന്‍
അപ്പോള്‍ വരമൊഴിയിലെ പ്രശ്നം തീര്‍ക്കാന്‍ എനിക്ക് തോന്നുന്ന ഒരു പരിഹാരം ഇതാണ്. പ്രായോഗികമാണോ അല്ലയോ എന്ന് അറിയിക്കുക,(വരമൊഴിയുടെ ഇന്റേണല്‍ ലോജിക്കിനേപ്പറ്റി വലിയ പിടിപാടില്ല എന്ന മുന്‍‌കൂര്‍ ജാമ്യത്തോടെ)
1. കോഡിലുള്ള എല്ലാ ZWNJ യും നീക്കം ചെയ്യുക. അതോട് കൂടി ആവശ്യമില്ലാത്തിടങ്ങളില്‍ ZWNJ വരുന്നത് നിന്നു കിട്ടും. ആവശ്യമുള്ളിടത്തും ZWNJ വരില്ല.
2. മേല്പറഞ്ഞത് ബഗ്ഗില്ലാതെ വര്‍ക്ക് ചെയ്യാന്‍ തുടങ്ങിയാല്‍ ZWNJ എന്നതിന് കോണ്ടക്സ്റ്റ് ഇല്ലാതെ ഒരു മാപ്പിങ് ചേര്‍ക്കുക.
3. ആസ്കി ഫോണ്ടുകളെ മറന്നു കളയുക. ആസ്കിക്ക് വേണ്ടി യുണിക്കോഡില്‍ ബഗ്ഗിടേണ്ട.

ഇനി ഇത് ഫിക്സ് ചെയ്താലും വരമൊഴിയുടെ പഴയ പതിപ്പുകള്‍ ഉപയോഗിക്കുന്നവര്‍ തെറ്റ് എഴുതിക്കൊണ്ടിരിക്കും. അതിനെന്താണ് പരിഹാരം?

റാല്‍മിനോവ്

വരമൊഴി യുണീക്കോഡ്‌ മലയാളത്തില്‍ പ്രത്യക്ഷപ്പെടുന്നതിനും മുമ്പുള്ളതാണ്. ആസ്കിഫോണ്ടുകള്‍ക്ക്‌ വേണ്ടിയുള്ളതായിരുന്നു മുഖ്യമായും. അതില്‍ ഓപ്ഷണല്‍ ചന്ദ്രക്കല എന്ന വിരാമ ഉണ്ടായിരുന്നില്ല. ഒന്നുകില്‍ നിശ്ചയമായും ചന്ദ്രക്കലയുണ്ട് അല്ലെങ്കില്‍ ഇല്ലേ ഇല്ല. ഈ രണ്ടു സാധ്യതകളാണ് ഉള്ളത്‌ എന്നതിരിക്കേ ആദ്യത്തേതിന് < വിരാമ, zwnj> എന്നതുപയോഗിക്കുകയേ നിവൃത്തിയുള്ളൂ.

വരമൊഴിയില്‍ ഈ പ്രശ്നം ഒഴിവാക്കാന്‍ ആരെങ്കിലും സഹായിക്കാനുണ്ടെങ്കില്‍ വളരെ സന്തോഷമേ ഉള്ളൂ..

ജിനേഷേ, NLP പ്രോസസിംഗ് യുണീക്കോഡ് ബൈനറി വച്ച്‌ ചെയ്യുന്നത്‌ ശരിയല്ല. NLP ക്ക്‌ വേണ്ടി ഉപയോഗിക്കുന്നതുമുമ്പ്‌ നോര്‍മലൈസേഷന്‍, ആവശ്യമുള്ളിടങ്ങളില്‍ കൊലേഷന്‍ കീ എന്നിവ ഉപയോഗിക്കേണ്ടതുണ്ട്.

തീര്‍ച്ചയായും ജിനേഷ്‌ പറഞ്ഞതുകൂടാതെ, വളരെ കോമ്പ്ലക്സായ റൂളുകള്‍ NLPക്ക് വേണ്ടിവരും എന്നതില്‍ സംശയമില്ല. അതിനടുത്ത്‌ ഈ സിമ്പിള്‍ റൂളുകള്‍ നിസാരങ്ങളാണ്.

വരമൊഴി യുണീക്കോഡ്‌ മലയാളത്തില്‍ പ്രത്യക്ഷപ്പെടുന്നതിനും മുമ്പുള്ളതാണ്. ആസ്കിഫോണ്ടുകള്‍ക്ക്‌ വേണ്ടിയുള്ളതായിരുന്നു മുഖ്യമായും. അതില്‍ ഓപ്ഷണല്‍ ചന്ദ്രക്കല എന്ന വിരാമ ഉണ്ടായിരുന്നില്ല. ഒന്നുകില്‍ നിശ്ചയമായും ചന്ദ്രക്കലയുണ്ട് അല്ലെങ്കില്‍ ഇല്ലേ ഇല്ല. ഈ രണ്ടു സാധ്യതകളാണ് ഉള്ളത്‌ എന്നതിരിക്കേ ആദ്യത്തേതിന് < വിരാമ, zwnj> എന്നതുപയോഗിക്കുകയേ നിവൃത്തിയുള്ളൂ.

വരമൊഴിയില്‍ ഈ പ്രശ്നം ഒഴിവാക്കാന്‍ ആരെങ്കിലും സഹായിക്കാനുണ്ടെങ്കില്‍ വളരെ സന്തോഷമേ ഉള്ളൂ..

ജിനേഷേ, NLP പ്രോസസിംഗ് യുണീക്കോഡ് ബൈനറി വച്ച്‌ ചെയ്യുന്നത്‌ ശരിയല്ല. NLP ക്ക്‌ വേണ്ടി ഉപയോഗിക്കുന്നതുമുമ്പ്‌ നോര്‍മലൈസേഷന്‍, ആവശ്യമുള്ളിടങ്ങളില്‍ കൊലേഷന്‍ കീ എന്നിവ ഉപയോഗിക്കേണ്ടതുണ്ട്.

തീര്‍ച്ചയായും ജിനേഷ്‌ പറഞ്ഞതുകൂടാതെ, വളരെ കോമ്പ്ലക്സായ റൂളുകള്‍ NLPക്ക് വേണ്ടിവരും എന്നതില്‍ സംശയമില്ല. അതിനടുത്ത്‌ ഈ സിമ്പിള്‍ റൂളുകള്‍ നിസാരങ്ങളാണ്.

(നോണ്‍)ജോയ്നറുകള്‍ വിരാമയ്ക്കുശേഷം ഒരെണ്ണം മാത്രമേ വേണ്ടൂ.അവിടെ അവ എന്തുകൊണ്ടും നിലനിര്‍ത്തേണ്ടതുമാണ്.വിലയില്ലാത്തതല്ലേ, തോണ്ടിക്കളയേണ്ടതല്ലേ എന്നൊക്കെ ന്യായം പറഞ്ഞ് അവശ്യമില്ലാത്തിടത്ത് അവ വാരിയിടുന്നത് നന്നല്ല.(ഇതൊന്നും യൂസര്‍ അറിയുന്നില്ല എന്നതും പന്തിയല്ല.).സ്ഥാനത്ത് അവയ്ക്ക് വിലയുണ്ട്;അല്ലാത്തിടത്ത് അവ ചവറുമാണ്.

ആകെ ആറു ചില്ലുകള്‍‌ക്കേ ZWJ വേണ്ടൂ എന്നിരിക്കേ അവയ്കു മാത്രമായി പുതിയ റൂള്‍ ഉണ്ടാക്കുകയും ചെയ്യാം…

ബാക്കി എന്തിനൊപ്പം വന്നാലും ZWJ കഴിഞ്ഞാലുടന്‍ space ആണെങ്കില്‍ ZWJ strip ചെയ്തു പോകണം…

ഞാന്‍ വരമൊഴി പഠിച്ചിട്ടില്ല പെട്ടെന്നു തോന്നിയതു പറഞ്ഞു എന്നേ ഉള്ളൂ…..

ജിനേഷ്

പിന്‍കുറിപ്പ്: ഇതു ഞാന്‍ ലളിത ഉപയോഗിച്ച് എഴുതിയതാണ്. (ഇത് എന്തിനാണെന്ന് സംശയിക്കേണ്ട, വരമൊഴി വച്ച് എഴുതിയ data NLP processingന് വേണ്ടി വെബ് കണ്ടന്റ് ഉപയോഗിക്കുമ്പോള്‍ പറ്റില്ല. ഒരു കോര്‍പ്പസ് ഉണ്ടാക്കാനുള്ള ചര്‍ച്ചകള്‍ നടക്കുന്നുണ്ട്, അവര്‍ക്ക് data collectionന് ഉപയോഗിക്കാവുന്ന വാക്കുകളാണിവ എന്നു മനസ്സിലാക്കാന്‍ മാത്രം)

ചില്ലക്ഷരമാക്കാനൊരു ചിഹ്നം (ZWJ)
പിരിച്ചെഴുതാനൊരു ചിഹ്നം (ചന്ദ്രക്കല ZWNJ)
ചന്ദ്രക്കലയ്ക്കൊരു ചിഹ്നം

സിബു