استاندارد یونیکد چیست ؟؟؟

[Arsn]

با سلام و عرض ادب خدمت همه سخت افزاری های عزیز ! در ادامه سری مقالات آموزشی آشنایی با مفاهیم پایه کامپیوتر تصمیم بر آن شد که این بار استاندارد یونیکد را با هم مورد بررسی قرار بدیم و تفاوت آن با کد های اسکی را نیز بررسی کنیم !

استاند‌ارد Unicode، يک‌ روش‌ رمزگذ‌ار‌ى‌ با ‌عرض‌ ثابت‌، بر‌ا‌ى‌ نوشتن‌ نويسه‌‌ها و متون‌ مى‌باشد.

‌اين‌ ‌استاند‌ارد با نويسه‌‌ها‌ى‌ ‌الفبايى‌، نويسه‌‌ها‌ى‌ تجسمى‌ و سمبل‌‌ها به‌ شکل‌ يکسانى‌ برخورد مى‌کند و در نتيجه‌ مى‌تو‌ان‌ ‌آنها ر‌ا در ‌هر ترکيبى‌ و با ‌امکان‌ بر‌ابر بکار گرفت‌.
‌استاند‌ارد Unicode ‌از يک‌ رمزگذ‌ار‌ى‌ 16 بيتى‌ ‌استفاده‌ مى‌کند، تا بتو‌اند ‌از متون‌ چند زبانه‌ به‌ طور کامل‌ پشتيبانى‌ کند. در ‌اين‌ رمزنگار‌ى‌، به‌ ‌هيچ‌گونه‌ کد کنترلى‌ بر‌ا‌ى‌ مشخص‌ کردن‌ نويسه‌‌ها‌ى‌ يک‌ زبان‌ خاص‌ نياز نمى‌باشد.

ASCII/8859-1			Unicode
A	0100 0001		A	0000 0000 0100 0001
S	0101 0011		S	0000 0000 0101 0011
C	0100 0011		C	0000 0000 0100 0011
I	0100 1001		I	0000 0000 0100 1001
I	0100 1001		I	0000 0000 0100 1001

‌


استاند‌ارد Unicode بر‌ا‌ى‌ ‌هر يک‌ ‌از نويسه‌‌ها، يک‌ مقد‌ار ‌عدد‌ى‌ و يک‌ نام‌ مشخص‌ کرده‌ ‌است‌ و ‌از ‌اين‌ جهت‌ شبيه‌ ساير ‌استاند‌ارد‌ها‌ى‌ رمزگذ‌ار‌ى‌ مانند ASCII ‌است‌

در کنار ‌انتساب‌ کد نويسه‌‌ها و نام‌‌ها به‌ يک‌ديگر، ‌استاند‌ارد Unicode ‌اطلا‌عات‌ ديگر‌ى‌ که‌ در ‌استاند‌ارد‌ها‌ى‌ مجمو‌عه‌نويسه‌(Character Set) مرسوم‌، موجود نمى‌باشد ر‌ا ‌ار‌ائه‌ مى‌کند که‌ بر‌ا‌ى‌ بکارگير‌ى‌ رمزگذ‌ار‌ى‌ نويسه‌‌ها در پياده‌ساز‌ى‌ ضرور‌ى‌ مى‌باشد.
‌هدف‌ ‌اصلى‌ ‌از ‌ار‌ائه‌ ‌استاند‌ارد Unicode، گريز ‌از دو مشکل‌ ‌اساسى‌ ‌است‌ که‌ در بيشتر برنامه‌‌ها‌ى‌ کامپيوتر‌ى‌ چندزبانه‌ وجود د‌ارد:

سربار (Overloading) ناشى‌ ‌از مکانيزم‌ فونت‌ به‌ ‌هنگام‌ِ رمزگذ‌ار‌ى‌ نويسه‌‌ها ، بکارگير‌ى‌ چند کد نويسه‌ ناسازگار به‌ ‌علت‌ تد‌اخل‌ ‌استاند‌ارد‌ها‌ى‌ نويسه‌ محلى‌ و صنعتى‌.

فضا‌ى‌ ۷-بيتى‌ کد ASCII و توسعه‌يافته‌ ۸-بيتى‌ ‌آن‌، که‌ در بيشتر سيستم‌‌ها‌ى‌ نرم‌‌افز‌ار‌ى‌ مورد ‌استفاده‌ قر‌ار مى‌گيرند، متناظر‌اً به‌ 128 و 256 نويسه‌ محدود مى‌شوند که‌ بر‌ا‌ى‌ يک‌ محيط‌ نرم‌‌افز‌ار‌ى‌ سر‌اسر‌ى‌ ناکافى‌ مى‌باشد.
طر‌احان‌ Unicode روشى‌ تک‌شکل‌ بر‌ا‌ى‌ شناسايى‌ نويسه‌‌ها پيشنهاد کردند که‌ کار‌اتر و ‌انعطاف‌پذيرتر ‌از سيستم‌‌ها‌ى‌ رمزگذ‌ار‌ى‌ قبلى‌ باشد.





ويژگى‌‌ها‌ى‌ ‌اوليه‌ که‌ در طر‌احى‌ ‌استاند‌ارد Unicode در نظرگرفته‌ شده‌‌اند، ‌عبارتند ‌از:

• جهانى‌(Universal)
• فهرست‌ نويسه‌‌ها بايد بقدر کافى‌ بزرگ‌ باشد تا ‌همه‌ نويسه‌‌هايى‌ که‌ ‌احتمالاً در متون‌ ‌عمومى‌ ‌استفاده‌ مى‌شوند(شامل‌ مجمو‌عه‌نويسه‌‌ها‌ى‌ بين‌‌المللى‌، محلى‌ و صنعتى‌) ر‌ا د‌ار‌ا باشد.
• کار‌ایی (Efficiency)
  متن‌ مسطح‌(Plain) مرکب‌ ‌از دنباله‌ نويسه‌‌ها‌ى‌ ‌عرض‌ثابت‌، مدل‌ بسيار مفيد‌ى‌ ‌ار‌ائه‌ مى‌د‌هد چر‌اکه‌ تجزيه‌(Parse) ‌آن‌ ساده‌ ‌است‌: نرم‌‌افز‌ار ‌اجبار‌ى‌ به‌ نگه‌د‌ار‌ى‌ وضعيت‌، جستجو بر‌ا‌ى‌ دنباله‌‌ها‌ى‌ escape ويژه‌، يا جستجو‌ى‌ پيش‌رو يا پس‌رو بر‌ا‌ى‌ شناسايى‌ نويسه‌‌ها ند‌ارد.
• تک‌شکل‌(Uniform)
  کد نويسه‌ ثابت‌ ‌امکان‌ کار‌ا‌ى‌ِ مرتب‌ساز‌ى‌، جستجو، نمايش‌، و وير‌ايش‌ متن‌ ر‌ا فر‌ا‌هم‌ مى‌سازد.
• ناگُنگ‌(Unambiguous)
  ‌هر مقد‌ار16بيتى‌ د‌اده‌شده‌ ‌هميشه‌ يک‌ نويسه‌ ر‌ا نشان‌ مى‌د‌هد.

از مهم‌ترين مزايايی كه يونی‌كد برای زبان فارسی دارد (مثل بسياری زبان‌های ديگر) می‌توان موارد زير را نام برد:

در نسخه استاندارد هر نرم‌افزاری كه از اين استاندارد پشتيبانی كند، می‌توان فارسی نوشت يا متون فارسی را خواند. بدين ترتيب ديگر نيازی به تأمين نسخه‌های خاص فارسی يا عربی نيست.

برای خواندن متون فارسی كه توسط شركت خاصی نوشته شده‌اند، نيازی به داشتن فونت خاص آن شركت نداريم و هر متن فارسی كه با استاندارد يونی‌كد، كدگذاری شده باشد، با هر فونت يونی‌كدی قابل مشاهده است.

امكان استفاده هم‌زمان از زبان‌های فارسی و انگليسی را تأمين می‌كند.

بدون استفاده از فونت‌های خاص امكان استفاده از علائم خاص را فراهم می‌كند.

به بيان ديگر، «استاندارد يونی‌كد» استاندارد جهانی كدگذاری كاركترهاست كه برای پردازش كامپيوتری متون به كار می‌رود. اين استاندارد همان كاراكترها و كدهای استاندارد ISO/IEC 10646 را داراست و كاملا با آن سازگار است. پس در واقع هر پياده‌سازی سازگار با يونی‌كد، با ISO/IEC 10646 نيز سازگار است.

يونی‌كد امكان كدگذاری همه كاراكترهای مورد استفاده در نوشتن زبان‌های دنيا را فراهم آورده‌است. اين استاندارد از كدگذاری 16بيتی استفاده می‌كند كه برای بيش از65000 نويسه (كاراكتر) جا فراهم می‌كند. اگر چه 65000 نويسه برای كدگذاری اكثر نويسه‌هايی كه در زبان‌های مهم دنيا استفاده می‌شود كافی است، با اين حال يونی‌كد شيوه‌گسترشی به‌نام UTF-16 فراهم‌كرده‌است كه امكان اضافه‌كردن حدود يك ميليون نويسه ديگر را نيز می‌دهد. اين دامنه برای كليه نويسه‌های عالم، از جمله پوشش كامل همه خط‌های باستانی (همچون خط ميخی) نيز كافی است.


يونی‌كد برای كليه نويسه‌های مورد استفاده در زبان‌های عمده دنيا كد تعيين‌كرده‌است. به‌علت گسترده‌بودن فضای تخصيص نويسه، اين استاندارد بسياری از نمادهای لازم برای حروف‌چينی را نيز در بر گرفته‌است. از خط‌های مورد پشتيبانی اين استاندارد می‌توان به لاتين (دربرگيرنده اكثر زبان‌های اروپايی)، سيريليك(روسی، صربی)، يونانی، عربی (شامل عربی، فارسی، اردو، كردی)، عبری، هندی، ارمنی، آسوری، چينی، كاتاكانا و هيراگانا(ژاپنی)، و هانگول (كره‌ای) اشاره‌كرد. به‌علاوه، تعداد زيادی نماد رياضی و فنی علائم نقطه‌گذاری، پيكان، و علامت‌های متفرقه‌در اين استاندارد وجود دارد. اين استاندارد برای علامت‌های ‌تركيب‌شونده‌ يا اعراب‌ها نيز كدهايی در نظر گرفته‌است كه‌از جمله آنها علامت‌هايی چون «˜» (مد)هستند كه در تركيبب حروف پايه، حروف تغييرلحن يافته‌ای چون «ñ» را می‌سازند.



به طور كلی، بعضی از مشخصات يونی‌كد به شرح زير است:

نويسه‌های شانزده ‌بيتی
يكی‌سازی (اختصاص يك كد به نويسه‌های مشترك در چند زبان مختلف)
نويسه، نه شكل (يك «ع»، و نه چهارتا: «ﻋ»، «ﻌ»، «ﻊ»، «ﻉ»)
بار معنايی (حرف‌بودن، مقدار عددی، ...)

در استاندارد يونی‌كد، نويسه‌های فارسی در بلوك مربوط به‌خط‌ عربی‌ قرار دارند. اين بلوك‌برای دربرگرفتن نويسه‌های زبان‌هايی كه‌از خط عربی‌استفاده‌می‌كنند، مثل فارسی، اردو، پشتو، سندی، و كردی گسترش يافته است. اين بلوك نشانه‌های قرآنی از قبيل نشانه‌های سجده و پايان آيه، و علائم وقف را نيز در بردارد.

در يونی‌كد با وجود يكی‌سازی كدهای حروف مشترك، برای حروف فارسی كه بار معنايی يا نمايشی متفاوت با حروف عربی دارند، نويسه‌های جداگانه درنظر گرفته‌شده‌است. يعنی كليه حروف خاص فارسی (پ، چ، ژ، گ) و نيز «ك» و «ی» فارسی كه‌با حرف مشابه‌در عربی‌تفاوت نمايشی دارند، مكان‌جداگانه‌ای به‌خود اختصاص داده‌اند. كليه اعراب‌های متداول حضور دارند و ميان شكل‌فارسی/اردو و عربی ارقام نيز به‌علت شكل و رفتار متفاوت، تفاوت‌هايی منظور گشته‌است.

از طرف ديگر، علائم نقطه‌گذاری چون نقطه و فاصله كه‌شكلی كسانی‌در خط‌های لاتين و عربی دارند، كد يكسان‌ دارند. علائمی‌چون پرانتز نيز، بسته به جهت متن، آينه‌ای می‌شوند، به طور مثال، نويسه 0028 نماينده «پرانتز باز» است، و نه«پرانتز سمت‌چپ». يونی‌كد اتصال‌مجازی و فاصله مجازی را نيز تحت‌نام‌های «اتصال با عرض‌صفر» و «بی‌اتصالی با عرض‌صفر» به‌رسميت می‌شناسد.

بدين ترتيب ملاحظه می‌شود كه برای حل مشكلات موجود، و نيز رفتن به سوی يك استاندارد مقبول و همه‌جانبه، استاندارد يونی‌كد، روشی مناسب به نظر می‌رسد. در شماره‌های آتی ماهنامه نيز به اين موضوع از جنبه‌های ديگر خواهيم پرداخت.

اصطلاحات:

نويسه: در مقابل character. كوچك‌ترين واحد متن. مثلاً يك حرف لاتين، يك اعراب فارسی، يكی علامت نقطه‌گذاری، يك نشانه بريل، يا يك نماد رياضی

شكل: در مقابل glyph. كوچك‌ترين واحد نمايش متن. برای بعضی نويسه‌ها مثل حروف فارسی و هندی ممكن است چند شكل موجود باشد. مثلاً « ﺑ » و « ﻊ » از اشكال‌نمايشی محسوب می‌شوند.

مجموعه ‌نويسه: در مقابلcharacter set. مجموعه‌ای از نويسه‌ها كه‌به‌هر نويسه عددی اختصاص‌می‌دهد كه نماينده آن نويسه محسوب می‌شود و در تبادل اطلاعات مورد استفاده‌قرار می‌گيرد.

مجموعه كد: در مقابل code page. سيستمی كه به‌هر نويسه دنباله مشخصی‌از بايت‌ها را متناظر می‌كند. مجموعه‌نويسه‌ها می‌توانند به‌شكل يا چند مجموعه‌ كد قابل استفاده‌باشند.


نگارش و گردآوری : علیرضا سجادی نیا !

[Arsn]

کد های اسکی : (ASCii)

Binary Oct Dec Hex Glyph 010 0000 040 32 20 ␠ 010 0001 041 33 21 ! 010 0010 042 34 22 " 010 0011 043 35 23 # 010 0100 044 36 24 $ 010 0101 045 37 25 % 010 0110 046 38 26 & 010 0111 047 39 27 ' 010 1000 050 40 28 ( 010 1001 051 41 29 ) 010 1010 052 42 2A * 010 1011 053 43 2B + 010 1100 054 44 2C , 010 1101 055 45 2D - 010 1110 056 46 2E . 010 1111 057 47 2F / 011 0000 060 48 30 0 011 0001 061 49 31 1 011 0010 062 50 32 2 011 0011 063 51 33 3 011 0100 064 52 34 4 011 0101 065 53 35 5 011 0110 066 54 36 6 011 0111 067 55 37 7 011 1000 070 56 38 8 011 1001 071 57 39 9 011 1010 072 58 3A : 011 1011 073 59 3B ; 011 1100 074 60 3C < 011 1101 075 61 3D = 011 1110 076 62 3E > 011 1111 077 63 3F ?

Binary Oct Dec Hex Glyph 100 0000 100 64 40 @ 100 0001 101 65 41 A 100 0010 102 66 42 B 100 0011 103 67 43 C 100 0100 104 68 44 D 100 0101 105 69 45 E 100 0110 106 70 46 F 100 0111 107 71 47 G 100 1000 110 72 48 H 100 1001 111 73 49 I 100 1010 112 74 4A J 100 1011 113 75 4B K 100 1100 114 76 4C L 100 1101 115 77 4D M 100 1110 116 78 4E N 100 1111 117 79 4F O 101 0000 120 80 50 P 101 0001 121 81 51 Q 101 0010 122 82 52 R 101 0011 123 83 53 S 101 0100 124 84 54 T 101 0101 125 85 55 U 101 0110 126 86 56 V 101 0111 127 87 57 W 101 1000 130 88 58 X 101 1001 131 89 59 Y 101 1010 132 90 5A Z 101 1011 133 91 5B [ 101 1100 134 92 5C \ 101 1101 135 93 5D ] 101 1110 136 94 5E ^ 101 1111 137 95 5F _

Binary Oct Dec Hex Glyph 110 0000 140 96 60 ` 110 0001 141 97 61 a 110 0010 142 98 62 b 110 0011 143 99 63 c 110 0100 144 100 64 d 110 0101 145 101 65 e 110 0110 146 102 66 f 110 0111 147 103 67 g 110 1000 150 104 68 h 110 1001 151 105 69 i 110 1010 152 106 6A j 110 1011 153 107 6B k 110 1100 154 108 6C l 110 1101 155 109 6D m 110 1110 156 110 6E n 110 1111 157 111 6F o 111 0000 160 112 70 p 111 0001 161 113 71 q 111 0010 162 114 72 r 111 0011 163 115 73 s 111 0100 164 116 74 t 111 0101 165 117 75 u 111 0110 166 118 76 v 111 0111 167 119 77 w 111 1000 170 120 78 x 111 1001 171 121 79 y 111 1010 172 122 7A z 111 1011 173 123 7B { 111 1100 174 124 7C | 111 1101 175 125 7D } 111 1110 176 126 7E ~