Қазақ тілінің кодтамалармен көрген бейнетіміз, себебі - стандартты бұзған оңбайды

(техникалық пайымдама + кодтаманы түзету программасы)

Төмендегі (жоғардағы да) жазылғаны автордың жеке пікірі, жазылғанмен ешбір міндеттер мен кепілдіктер берілмейді, сонымен төменде келтірілген мәліметтерді қолданғанның немесе керісінше қолданбағаннын оқыс салдары үшін автор жауап бермейді; аталып кеткен сауда белгілер әрбірі өз компаниялардың меншігі; әзіл болса конституциямыз берген әзілдесу құқығына негізделген, және т.б. с.с.

Бұл мақаланы оқып шықсаңыз, білетініздің қортындысы мынадай:

1. Қазақ тілінің дұрыс 16 биттік кодтамасы - Unicode, яғни (жуырда шыққан) Windows'2000 және XP-де қазақ тілі үшін қолданатың, және  KazWin (біраз уақыт бойы) қолданып жүрген кодтамасы.
   
2. Елде түрлі қазақ тілінің жалған Unicode кодтамадағы қаріптер (шрифттер) кең тарап кетті.
   
3. Стандарттан тыс кодтамасының қайсы сізге кездескенін анықтауға болады (осы мақаланың 6.1-6.4 тармақтарын оқып)
4. Анықталған кодтамадағы құжатты дұрыс (XP мен KazWin үлесімді) кодтамасына айналдыру үшін арналган программасын көшіріп алып, жағдайды жөнге келтіруге болады. Мақаланың 6.1-6.4 тармақтарын қараңыз.
   
5. Мақаламызда біраз анықтама мәліметтерді таба аласыз.
   
6. Стандартты бұзған оңбайды деген ойға келесіз деген үміттеміз...
   

Эпиграфтың орнына:
Қойшы көп болса қой арам өледі

Мазмұны

1. Кіріспе сөз және бұл мақала кімге арналғаны туралы.

2. Бұл маселеге қалай кірісіп кеттім (қызық болмаса бірден 3-ші тармаққа секіріп оқи беріңіз)

Осы мақаланың авторы баяғы MS-DOS және Windows 3.x заманнан бастап қазақстандырушы драйверлармен озінің және айналымдағылардың ыңғайын қөздеп шұғылданған еді. Windows’95 шыққанымен - осы жүйесіне де жасауға мәжбүр болдық. Достар Windows NT 4.0 -ге бірдеме жасап берші дегенге "бірдемесін" жасап бердік. NT жүйесі негізінде Unicode-ке сүйенген жүйе болған сон, Unicode стандартпен сонда таныскан едім. Казір консорциумның unicode.org сайтында әдемі pdf-форматтағы альбомдар аркылы оңай танысу болады, ал сол "баяғы" артта қалған 90-шы жылдардың ортасында ftp-серверінің бір бұрышында жәй сөзбен жазылған кириллица кодтамасын әзер табуға болатын. Сонаң соң КСРО халықтардың кириллицаларын зерттеп отыру керек еді, мысалы "schwa" деген сөздің артында біздін баяғы әріпі жатқаны анықтау үшін біраз уақыт кеткен еді ("...шіркін-ай, казіргі жастар жеңіл-арзан дәуірде өмір сүреді-ау, біз-ші, жалаң-аяқ, жалаң-бас, түн ортасында, боран-дауылға қарамастан, ауылдағы жалғыз-ақ Интернеті істеп тұрған селпоға барушы едік...Казіргі бостан-босқа кәмпитердегі ойындарға әуес жастар бізді қалай түсінсін...").
1997 жыл шамасында Windows-тың бағдарламалары Unicode кодтамасына көшкен сон Windows'9x-ке де Unicode пен қазақша жұмыс істеуге мүмкіндік жасадық. Басқа қазақстандырушыларды істейтін әріптестерім де осылай істегеніне күмәнім жок еді. Бірақ Windows'2000 шыққан сон э-мейлден "KazWin-ніңіз Windows'2000-пен үлесімді ме?" деген сұрақтар келе бастады. Бұндай сұрақтар неден шыққанын түсінбей "Әрине, үлесімді, Unicode ғой, стандарт деген Африкада да стандарт" деп жауап бере бердім... Сонан соң кейбіреулер KazWin-мен үйлесімсіз 16-биттік шрифттер мен мәтіндерді, "Мынаумен не істеуге болады?" деп маған жібере бастады. Африка бір бөлек, Қазақстан бір бөлек екенді сонда ғана түсіндім. "Бөлегіміз" төменде 6-шы тармақта пайымдалған. Жалған Unicode шрифттер кеңінен кең тарап кеткен екен, бұл жағдай үлкен мәселеге айналып, жәй қолданушылар адасуда, стандарт бар екен туралы немесе білейді, немесе стандарттан тыс құжаттар көбейітіп алып, қалай жағдайды жөндеуді білмей жүр. Өзім де бұл жағдай туралы біраз бейхабар болғам - менің айналамдағылар, әрине, KazWin-ды қолданады да ешбір қыйыншылық көрмейді. KazWin-ды көп қазақстандырушылардың бірі деп санап жүрсем, ол біраз уақыт стандартты ұстанған (яғни казіргі Win2k мен WinXP үйлесімді) жалғыз ба, әйтеуір бірінші болғаны анықталды. Осы мақала, құжаттың кодтамасын түзететін компьютер программаларды ұсынып, бұл қолайсыз жағдайды жөндеуге арналған бір талпынысым.
Ал, енді кәсібімізге кірісейік...

3. Техникалық кіріспе

4. UNICODE / ISO-10646 он алты биттік кодтама

Жақсы жаңалық: 16-биттік кодтама стандарты казір біреу-ақ қана. Ол бұл шаруаға тиісті компаниялар тобы құрған консорциуммен қабылданып дамыту етуде. Консорциумның аты Unicode ("юникод" деп оқылады). ISO-10646 деген (толық атауы ISO/IEC-10646) стандарт та іс жүзінде сол стандартқа тең (сирек кездесетін жағдай, кодтамаға қатысты істерде бір-бірімен келіспейтін жүйелерді ұсынып, қарсы қойып, жағдайды шиеленістіріп жіберуі - үйренішікті жағдай).
Кириллица жазу әріптерге Unicode стандартта 0x0400-0x04FF кодтар диапазоны бөлініп, 90-шы жылдардың басында бекітілген. Бұл кестеге казіргі қазақ әлипесіндегі бүкіл кеңейтілген кириллица әріптері де кірген. 3-ші Кестеде осы мақалаға қатысты символдармен олардың Unicode кодтары келтірілген.
Айтпақші, Unicode кестесінің басы, яғни 0x0000-0x007F кодтары, жоғарыда аталған баяғы "көне" ASCII орын алған, ал келесі 128 орын (0x0080-0x00FF диапазоны) да жоғарыда таныстырылған Latin 1 орналасқан.
MS WinWord’97 -тан бастап, бұл әйгелі программаның версиялары теқ қана 16-биттік Unicode кодтамалы шрифтермен жұмыс істейді. Казір Unicode стандартқа дүниеде қолданатын басым көпшілік әріп пен символдарды еңгізілген, бірақ әрбір нақты шрифттың *.ttf файлында, әрине, стандарттағы символдарының бәрі де түгел емес. Кириллицаны алсақ, Windows операциялық жүйелердің неғізғі үш шрифты (Arial, Times New Roman, Courier New) Windows XP шыққанға дейін тек қана орыс, украин, белорус, сырп (серб), македон және болғар тілдерге ғана жеткілікті әріп жиынтығы бар еді. Бірақ Windows'98 -дің заманынан бастап Microsoft-тың сайтында осы неғізгі шрифттердің жаңа #2.82 нұсқалары тегін көшіруге ұсынылатын. Осы жаңа нұсқаларда Unicode кодтамадағы қазақ тілдің БҮКІЛ әріптері бар. Жуырда Microsoft бұл шрифттерді сайтынан алып тастаған - бәлкім, жаңа шрифттер инсталляторының құрамына кірген Windows XP-ге жол ашу үшін.
Әрбір дұрыс шрифтте қазақ тілінің әріптері 3-ші Кестеде көрсетілгендей ғана стандартты кодтарға ие болуға тиіс. Осы стандартты ұстанбағандықтан казіргі қазақ тілдегі мәтіндердін кодтамаларының шатастыруы шиеленісіп кеткені. Шиеленісуі қалай пайда болғаны төменде түсіндіріледі.
Айтпақшы, нақты бір шрифтте бір әріптің бейнесі болмағанда сол әріптің сөздегі орнында бос шаршы пайда болады. Міне мынандай . Бұл қазақ тілдегі мәтіні дұрыс Unicode-те жазылған, бірақ қолданып отырған шрифтте қазақ тілінің ерекше әріптердің бейнелері жоқ жие кездесетін жағдайда болады. Мысалы, версиясы 2.82-тен төмен Arial немесе Times New Roman шрифттерді қолданғанда болады.

5. Сегіз биттік кодттамалар

5.1. Орыс тілдің сегіз биттік кодтамалары

5.2. Қазақ тілінің 8-биттік кодтамалары

5.2.1. CP1251-мен үйлесімді қазақ тілінің кодтамалары. KazWin-ның кодтамасы.

CP1251 кестесіне үңіліп көрейік. Орыс әліппесі 0xC0-0xFF диапазонда (соңғы төрт жолдарында) орналасады. Бұдан тыс тек қана Ё мен ё (кодтары 0xA8, 0xB8) әріптері орналасқан. Үлесімді код парағында бүкіл орыс әріптерді орынында қалдырған жөн. Бұл біржолата болғар тілімен үлесімдікті сақтап қалады. Қазақ әріптермен ауыстырылмақ болатындар, бірінші кезекте , , деген македон әріптері, , , , деген сырп-македон әріптері, және , таза сырп әріптері. Екінші кезекте, украин тілімен үйлесімдікті жоғалтып, бұл тілде казір сирек қолданылатың әріптің орнын басып алуға болады, сонан соң жие қолданылатын украин , әріптерді ауыстыруға болады, ал бұл да жетпесе, белорус әріптің орнын алмақпыз. Украин-белорус кириллицаның әріпі қазақ тілінде де бар, оны өз стандартты орнынында қалдырған жөн. Әріптерді ауыстырғанда бас әріпті бас әріппен, кіші әріпті кіші әріппен аустырған жөн, сонымен қатар ауыстрылып жатқан әріптін пішіні ауыстырып жатқан әріпке сәл болсада ұқсас болған да жөн. Осындай оймен баяғы Windows 3.xx кезінде KazWin қазақстандырушы программалық жасауы қолданатын (CP1251-k деп аталған) 8-биттік кодтама (8-ші кестені қараңыз) пайда болған. KazWin-ның Windows'95/98, Me, NT, 2000, XP-лерге арналған нұсқалары Интернет арқылы 1997 жылдан бастап еркін таралған соң аталған кодтама Қазақстанда біршама кең таралған. Алайда, бұл Қазақстанда таралған жалғыз CP1251-мен үйлесімді 8-биттік кодтама емес. KazWin-ның кодтамасынан тыс Интернетте келесі кодтамалары табылды. Табылған кодтамалардың авторлары және олардың артында қай компаниялар тұрғаны туралы мен бейхабармың, шынын айтқанда мұны білу осы мақаланың мақсаты тұрғыдан қажет те емес, ал атап-сілтеу үшін бұларға келесі атауларды (шрифттердің атауларындағы кездесетін жұрнақтарға сүйеніп) берейік:
1) "Kaz" кодтамасы
2) "KaZ" кодтамасы
3) "KZ" кодтамасы
4) "KZ-bis" кодтамасы
Соңында, бүкілінен соң шыққан ресми СТРК 1048-2002 стандарты, қысқа түрде бұны RK1048 деп атайық.
Бұдан да басқа кодтамалары бар шығар, бірақ осыларды көп қиналмай Интернеттен аулап алғандықтан, бұл төрт кодтамалар ең кең таралғандар деген ой туады. Бұларды қарастырып пайымдамаларын берейік.

5.2.1.1 Kaz кодтамасы

Kaz кодтамасы 9-ші Кестеде келтірілген. Қазақ тілінің косымша әріптері 0xB0-0xBF қатарында, әріптерден басқалары әліппеде кездесетін ретімен орналасқан. Былай орналастырып кішентай ё мен кириллицаның мен әріптердің орнын басып, оларды кестеден мүлдем құртып жіберген. Соңғы екеуінің орынында латын I мен i әріптер қолданылады, мұндайы тәртіпті өрескел бұзушылық - бір сөзде жазу түрлерін шатастыруға болмайды, мәтіндерді компьютермен өндіру алгоритмдерге кедергі болады. Тағы бір келіспеушілік: 0xB6 орынға қазақтың әріпі койылғаны. Бұл орындағы белгі жазу бағдарламаларда жол соңын белгілейді, сондықтан мәтіннің басылмайтын белгілерді көрсететін режимында, жоқ жерде әрбір жолдың аяғында осы әріп шыға келеді.

5.2.1.2 KaZ кодтамасы

5.2.1.3 KZ кодтамасы

KaZ кодтамасы 11-ші Кестеде келтірілген. Әріптерді орналастыру жобасы KazWin-ге ұқсас. Сол себептен біраз әріптерінің кодтары KazWin мен бірдей. Бірақ біразы аустырылып, енді қалған сырп-македон әріптерінің орындары берекесіз қалып жатқанын елемей, әріптердің орнын алып белорус тілімен үйлесімдігі жойылғаны сәл орынсыз секілді.

5.2.1.4 KZ-bis кодтамасы

5.2.1.5 KZ-1048 кодтамасы

5.2.2. KOI8-С кодтамасы

KIO8-C кодтамасын (14-ші Кестені қараңыз) атап кетпесек 8 -биттік кодтамалар туралы хикаямыз толық болмас. Бастапқыда аты бір болып соңында, бәлкім KOI8-O, болып кеткен көне орыс жазуға арналған кодтамасымен шатастырып алмаңыз. KOI8-C бір Испаниядағы Кавказға жан ашушы (C әріпі Caucasian - Кавказдық дегені) ұсынған. Осындайда жақсы ниет сәйкес біліммен ұштаспай қалады ғой - кестеде тағы бір әріпке (Unicode #0x04C0 – бұл латын I (0x0049) ден де кириллик (0x0406) ден де бөлек, кіші сыңары жоқ, стандартты атауы "palochka" ) орын табылса көп кавказ тілдерге жарар еді. Кавказдікі десе де кодтамада кавказға ешбір қатысы жоқ, қазақ тіліне ғана тән әріпі бар. Байқағанымға қарай бұл кодтама кең таралмаған секілді, UNIX -тердің арасында әзірше тек OpenBSD-де ғана (бір катемен) жүзеге асырлғанын таптым (қолдануда болса катесін біреу түзе етер еді). Қазақстанда ешкім бұл кодтамасын қолданбайды деген үміттеміз - жәй де аз емес орыс кодтамалардың әрбірін бінеше қазақ тармақтарымен өрбітіп жүреміз бе? Менімше біреуін қалдырып, француздар секілді өмір сүрген артық.. Мұндай мүмкіндікті жоғалтып алдық  па?

6. Қазақ тілінің көбейіп кеткен жалған-Unicode кодтамалары

6.1 Жалған Unicode Kaz шрифттер және олармен күресу тәсілі

:

6.2 KaZ жалған Unicode шрифттер. Бұлармен не істеуге болады?

6.3 KZ жалған Unicode шрифттермен күресу

6.4 KZ-bis жалған Unicode шрифттер және оларды жөнге келтіру

Мақалада аталып кеткен кестелер толық тізімі Қосымша #1.