Ваня перевел текстовый файл из кодировки ascii в кодировку unicode как изменился объем файла

Выбор кодировки текста при открытии и сохранении файлов

Как правило, при совместной работе с текстовыми файлами нет необходимости вникать в технические аспекты хранения текста. Однако если необходимо поделиться файлом с человеком, который работает с текстами на других языках, скачать текстовый файл из Интернета или открыть его на компьютере с другой операционной системой, может потребоваться задать кодировку при его открытии или сохранении.

Когда вы открываете текстовый файл в Microsoft Word или другой программе (например, на компьютере, язык операционной системы на котором отличается от того, на котором написан текст в файле), кодировка помогает программе определить, в каком виде нужно вывести текст на экран, чтобы его можно было прочитать.

В этой статье

• Общие сведения о кодировке текста
• Выбор кодировки при открытии файла
• Выбор кодировки при сохранении файла
• Поиск кодировок, доступных в Word

Общие сведения о кодировке текста

То, что отображается на экране как текст, фактически хранится в текстовом файле в виде числового значения. Компьютер преобразует числические значения в видимые символы. Для этого используется кодикон.

Кодировка — это схема нумерации, согласно которой каждому текстовому символу в наборе соответствует определенное числовое значение. Кодировка может содержать буквы, цифры и другие символы. В различных языках часто используются разные наборы символов, поэтому многие из существующих кодировок предназначены для отображения наборов символов соответствующих языков.

Различные кодировки для разных алфавитов

Сведения о кодировке, сохраняемые с текстовым файлом, используются компьютером для вывода текста на экран. Например, в кодировке «Кириллица (Windows)» знаку «Й» соответствует числовое значение 201. Когда вы открываете файл, содержащий этот знак, на компьютере, на котором используется кодировка «Кириллица (Windows)», компьютер считывает число 201 и выводит на экран знак «Й».

Однако если тот же файл открыть на компьютере, на котором по умолчанию используется другая кодировка, на экран будет выведен знак, соответствующий числу 201 в этой кодировке. Например, если на компьютере используется кодировка «Западноевропейская (Windows)», знак «Й» из исходного текстового файла на основе кириллицы будет отображен как «É», поскольку именно этому знаку соответствует число 201 в данной кодировке.

Юникод: единая кодировка для разных алфавитов

Чтобы избежать проблем с кодированием и декодированием текстовых файлов, можно сохранять их в Юникоде. В состав этой кодировки входит большинство знаков из всех языков, которые обычно используются на современных компьютерах.

Так как Word работает на базе Юникода, все файлы в нем автоматически сохраняются в этой кодировке. Файлы в Юникоде можно открывать на любом компьютере с операционной системой на английском языке независимо от языка текста. Кроме того, на таком компьютере можно сохранять в Юникоде файлы, содержащие знаки, которых нет в западноевропейских алфавитах (например, греческие, кириллические, арабские или японские).

Выбор кодировки при открытии файла

Если в открытом файле текст искажен или выводится в виде вопросительных знаков либо квадратиков, возможно, Word неправильно определил кодировку. Вы можете указать кодировку, которую следует использовать для отображения (декодирования) текста.

1. Откройте вкладку Файл.
2. Нажмите кнопку Параметры.
3. Нажмите кнопку Дополнительно.
4. Перейдите к разделу Общие и установите флажокПодтверждать преобразование формата файла при открытии.

Примечание: Если установлен этот флажок, Word отображает диалоговое окно Преобразование файла при каждом открытии файла в формате, отличном от формата Word (то есть файла, который не имеет расширения DOC, DOT, DOCX, DOCM, DOTX или DOTM). Если вы часто работаете с такими файлами, но вам обычно не требуется выбирать кодировку, не забудьте отключить этот параметр, чтобы это диалоговое окно не выводилось.

Если почти весь текст выглядит одинаково (например, в виде квадратов или точек), возможно, на компьютере не установлен нужный шрифт. В таком случае можно установить дополнительные шрифты.

Чтобы установить дополнительные шрифты, сделайте следующее:

1. Нажмите кнопку Пуск и выберите пункт Панель управления.
2. Выполните одно из указанных ниже действий. В Windows 7
   1. На панели управления выберите раздел Удаление программы.
   2. В списке программ щелкните Microsoft Office или Microsoft Word, если он был установлен отдельно от пакета Microsoft Office, и нажмите кнопку Изменить.

   В Windows Vista

   1. На панели управления выберите раздел Удаление программы.
   2. В списке программ щелкните Microsoft Office или Microsoft Word, если он был установлен отдельно от пакета Microsoft Office, и нажмите кнопку Изменить.

   В Windows XP

   1. На панели управления щелкните элемент Установка и удаление программ.
   2. В списке Установленные программы щелкните Microsoft Office или Microsoft Word, если он был установлен отдельно от пакета Microsoft Office, и нажмите кнопку Изменить.

   Совет: При открытии текстового файла в той или иной кодировке в Word используются шрифты, определенные в диалоговом окне Параметры веб-документа. (Чтобы вызвать диалоговое окно Параметры веб-документа, нажмите кнопку Microsoft Office, затем щелкните Параметры Word и выберите категорию Дополнительно. В разделе Общие нажмите кнопку Параметры веб-документа.) С помощью параметров на вкладке Шрифты диалогового окна Параметры веб-документа можно настроить шрифт для каждой кодировки.

   Выбор кодировки при сохранении файла

   Если не выбрать кодировку при сохранении файла, будет использоваться Юникод. Как правило, рекомендуется применять Юникод, так как он поддерживает большинство символов большинства языков.

   Если документ планируется открывать в программе, которая не поддерживает Юникод, вы можете выбрать нужную кодировку. Например, в операционной системе на английском языке можно создать документ на китайском (традиционное письмо) с использованием Юникода. Однако если такой документ будет открываться в программе, которая поддерживает китайский язык, но не поддерживает Юникод, файл можно сохранить в кодировке «Китайская традиционная (Big5)». В результате текст будет отображаться правильно при открытии документа в программе, поддерживающей китайский язык (традиционное письмо).

   Примечание: Так как Юникод — это наиболее полный стандарт, при сохранении текста в других кодировках некоторые знаки могут не отображаться. Предположим, например, что документ в Юникоде содержит текст на иврите и языке с кириллицей. Если сохранить файл в кодировке «Кириллица (Windows)», текст на иврите не отобразится, а если сохранить его в кодировке «Иврит (Windows)», то не будет отображаться кириллический текст.

   Если выбрать стандарт кодировки, который не поддерживает некоторые символы в файле, Word пометит их красным. Вы можете просмотреть текст в выбранной кодировке перед сохранением файла.

   При сохранении файла в виде кодированного текста из него удаляется текст, для которого выбран шрифт Symbol, а также коды полей.

   Выбор кодировки

   1. Откройте вкладку Файл.
   2. Выберите пункт Сохранить как. Чтобы сохранить файл в другой папке, найдите и откройте ее.
   3. В поле Имя файла введите имя нового файла.
   4. В поле Тип файла выберите Обычный текст.
   5. Нажмите кнопку Сохранить.
   6. Если появится диалоговое окно Microsoft Office Word — проверка совместимости, нажмите кнопку Продолжить.
   7. В диалоговом окне Преобразование файла выберите подходящую кодировку.
   8. Чтобы использовать стандартную кодировку, выберите параметр Windows (по умолчанию).
   9. Чтобы использовать кодировку MS-DOS, выберите параметр MS-DOS.
   10. Чтобы задать другую кодировку, установите переключатель Другая и выберите нужный пункт в списке. В области Образец можно просмотреть текст и проверить, правильно ли он отображается в выбранной кодировке.

   Примечание: Чтобы увеличить область отображения документа, можно изменить размер диалогового окна Преобразование файла.

   Поиск кодировок, доступных в Word

   Word распознает несколько кодировок и поддерживает кодировки, которые входят в состав системного программного обеспечения.

   Ниже приведен список письменностей и связанных с ними кодировок (кодовых страниц).

   Система письменности

   Используемый шрифт

   Юникод (UCS-2 с прямым и обратным порядком байтов, UTF-8, UTF-7)

   Стандартный шрифт для стиля «Обычный» локализованной версии Word

   Windows 1256, ASMO 708

   Китайская (упрощенное письмо)

   GB2312, GBK, EUC-CN, ISO-2022-CN, HZ

   Китайская (традиционное письмо)

   BIG5, EUC-TW, ISO-2022-TW

   Windows 1251, KOI8-R, KOI8-RU, ISO8859-5, DOS 866

   Английская, западноевропейская и другие, основанные на латинице

   Windows 1250, 1252-1254, 1257, ISO8859-x

   Как отличить текст в файле с обычной кодировкой от Unicode?

   Нужно прочесть текстовый файл. Как узнать, закодирован таблицей символов (однобайтовых), или в файле содержится текст в формате Unicode (16-ти битные символы)?

   Отслеживать
   задан 5 фев 2017 в 18:08
   91 5 5 бронзовых знаков

   4 ответа 4

   Сортировка: Сброс на вариант по умолчанию

   Файл всегда содержит байты. Иногда содержимое файла можно декодировать в текст, используя выбранную кодировку такую как cp1251, cp866, utf-8, или utf-16le.

   На Windows, файлы, закодированные в utf-16, к сожалению иногда называют Unicode (что вводит в заблуждение: Unicode—это не кодировка). utf-16 это всего лишь одна из многих кодировок, которую можно использовать, чтобы закодировать текст (Unicode) в байты:

   байты = юникод_текст.encode(кодировка) юникод_текст = байты.decode(кодировка) 

   Файлы, содержащие текст, закодированный в utf-8, utf-16, utf-32 и других кодировках, могут содержать в начале специальную последовательность байт (U+FEFF символ BOM, закодированный в соответствующей кодировке), которая идентифицирует эти кодировки.

   Если файл следует этому соглашению, то достаточно несколько первых байт из файла (в двоичном режиме открытого) сравнить с вариантами BOM, чтобы определить соответствующую кодировку. В общем случае нет гарантированного на 100% способа определить кодировку файла (хотя некоторые кодировки могут быть более вероятны чем другие и может быть API, которое пытается угадать кодировку, такое как: IsTextUnicode() с IS_TEXT_UNICODE_STATISTICS ). Пример: «Bush hid the facts» текст, закодированный в ascii кодировке, мог некоторыми приложениями интерпретироваться как текст в utf-16le кодировке, приводя к кракозябрам.

   Отслеживать
   ответ дан 5 фев 2017 в 23:26
   52.2k 11 11 золотых знаков 108 108 серебряных знаков 311 311 бронзовых знаков

   Зависит от соглашения, в котором записан текстовый файл. Текстовый поток, записанный в формате Unicode может начитаться с BOM — Byte Order Mark, т.е. например с магических байтов FF , FE для UTF-16 Little Endian.

   А в отсутствие каких-либо соглашений — только анализ текста с элементами гадания на кофейной гуще.

   Отслеживать
   ответ дан 5 фев 2017 в 18:35
   AnT stands with Russia AnT stands with Russia
   69k 3 3 золотых знака 62 62 серебряных знака 139 139 бронзовых знаков

   Простая на первый взгляд задача, но выполнить её оказывается не просто. С++ обладает достаточной гибкостью, как язык среднего уровня, поэтому требуется исчерпывающее знание вопроса для эффективной реализации задачи. Поделюсь тем что выяснил.

   Чтобы правильно прочесть файл нужно сначала посмотреть, есть ли в начале файла Маркер последовательности (тут точнее). Если есть маркер, его нужно определить. Если маркера нет, как выше уже было сказано, нужно искать другой алгоритм определения кодировки.

   Я тут целиком и полностью полагаюсь на IsTextUnicode , если маркера нет:

   BYTE *pBuf;
   size_t szRead, szBOM; // к-во прочитанных в файле байт и к-во байт маркера
   enum Unicode eUnicode;
   LPTSTR pszText;
   . 
   // определяю, есть ли в тексте маркер (ручная работа)
   szBOM = IsUnicodeRaw(pBuf, szRead, &eUnicode);
   // вызов библиотечной ф-ции IsTextUnicode после собственной проверки
   if(eUnicode != utf_16LE && ((szRead - szBOM) % 2 || !IsTextUnicode(pBuf + szBOM, (int) (szRead - szBOM), NULL)))
    BYTE *pb = new BYTE[(szRead - szBOM + 1) * sizeof(wchar_t)]; 
   unsigned int nCP = (eUnicode == utf_8) ? CP_UTF8 : (eUnicode == utf_7) ? CP_UTF7 : CP_ACP; 
   if (!MultiByteToWideChar(nCP, (nCP == CP_ACP) ? MB_PRECOMPOSED : 0, (LPCSTR) (pBuf + szBOM), (int) (szRead - szBOM), (LPWSTR) pb, (int) (szRead - szBOM))) 
    // ошибка. 
   > 
   delete[] pBuf; 
   pszText = (LPTSTR) (pszBuf = pb)
   >
   else 
   pszText = (LPTSTR) (pszBuf + szBOM);

   После того как выяснил наличие маркера в ф-ции IsUnicodeRaw , обращаюсь к IsTextUnicode без маркера. Работает с UTF-8 , с UTF-7 нужно разбираться — там последние 2 бита маркера являются частью следующего за маркером символа. ANSI -текст так же нормально кодирует в двухбайтовый.

   Wind’а предпочитает UTF-8 и UTF-16LE . Перед тем как записать текст, его нужно либо перекодировать в ANSI ф-цией WideCharToMultibyte , либо в начало файла записать маркер кодировки UTF-8 или UTF-16LE , чтобы потом также прочесть.

   Ваня перевёл текстовой файл из кодировки ASCII в кодировку Unicode. Как изменился объём файла?

   Выбери, какие основные угрозы существуют в Интернете Общение с незнакомыми людьми в чатах или по электронной почте Поиск развлечений (например, игр) в … Интернете Угроза заражения вредоносным программным обеспечением (ПО) Установка нелицензионного программного обеспечения​

   які об‘єкти табличного процесора Excel ви знаєте? які їх властивості

   Введи оценку (0 — остановить ввод): >>> 5 Введи балл (0 — остановить ввод): >>> 4 Введи балл (0 — остановить ввод): >>> 2 В … веди балл (0 — остановить ввод): >>> 3 Введи балл (0 — остановить ввод): >>> 0 Список оценок: [5, 4, 2, 3] Успеваемость: 75.0

   Нужна помощь с информатикой

   Вопрос 1
   Сколько бит отводится для кодирования текстового символа в кодировке Unicode? Введите только число.

   Вопрос 2
   Сколько байт отводится для кодирования текстового символа в кодировке ASCII? Введите только число.

   Вопрос 3
   Во сколько раз увеличится информационный объем текста после перекодировки его из восьмибитной в шестнадцатибитную кодировочную таблицу?

   Вопрос 4
   Объем текстового файла закодированого в таблице Unicode 500 байт. Как изменится объем файла после перекодировки его восьмибитную кодировочную таблицу?

   уменьшится в 2 раза
   не изменится
   станет равным 1000 байт
   Вопрос 5
   Имется текст, объем которого 2 Кбайта (1 символ -2 байта). Сколько символов в текте?

   Вопрос 6
   Оцените информационный объем графического изображения размером 40х10 пикселей, если используется 16 цветов. Ответ выразите в байтах.

   Вопрос 7
   Для хранения растрового изображения размером 64 × 128 пикселей отвели 8 Кбайт памяти. Какое максимально возможное число цветов в палитре изображения?

   Голосование за лучший ответ
   1 вариант Ответ: 16 бит. только это помню )

   1) 2 байта
   это 16 бит
   2) 1 байт
   3) в 2 раза
   4) уменьшится в 2 раза
   станет 250 байт
   5) 2*1024/2=1024 символов

   6) -7) не помню
   решите самостооятельно

   Обосрамс ШрамовОракул (57616) 5 лет назад

   6. 40 пикс ширина * 10 пикс выоста = 400 пикс площадь
   400 пикс (как метр квадрат) * (ln(16 цветов) /ln(2)) бит на один пиксель = 1600 бит вес / 8 = 200 байт вес картинки

   7. 64 * 128 / 8 / 1024 (доводим до килобайтов) = 1
   8 кбайт / 1 = 8 бит на пиксель
   2^8 = 256 цветов (цветовая палитра или 8-ми битовая графика)

   Похожие публикации:

   1. Jabber как пользоваться
   2. Sil open font license что за лицензия
   3. Как открыть файл из интернета в python
   4. Услуга ra на роутере что это