russian

Особенности машинной обработки китайского текста

2009-04-09T08:48:13-07:00

Китайский язык не относится к числу ни аналитических, ни синтетических языков, а представляет собой вместе с японским, корейским и старовьетнамским отдельную группу языков. С точки зрения операций, присущих технологиям обработки естественного языка (NLP – Natural Language Processing), важным является отсутствие явного выделения лексем в этом языке, что несколько усложняет процесс лексического или морфологического разбора текста на китайском языке.

Рассмотрим простой случай, когда необходимо разбить китайский текст на такие части, которые бы машина могла «искать» в словарях, т.е. когда можно реализовать автоматический поиск по электронному словарю.

При подготовке китайского текста к этой операции необходимо:

разбить текст с учётом знаков китайской пунктуации;

разбить текст с учётом естественных разделителей;

разбить текст на отдельные иероглифы;

разбить текст на возможные подстроки, которые с некоторой долей вероятности могут быть либо словами китайского языка, либо фразами, идиомами и т.д.

Пункты 1 и 2 используются, как правило, при обработке текста на любом языке, а вот пункты 3 и 4 стоит рассмотреть отдельно. Также следует обратить внимание на указанный выше порядок разбивки текста – приоритет операций соответствует из порядку.

Разбивка на отдельные иероглифы есть, так сказать, самая последняя надежда при поиске по словарю; поскольку, вследствие неоднородности китайского текста с точки зрения используемых и находимых лексем почти всегда имеется возможность разбора по отдельным иероглифам.

Разбивка на возможные подстроки, а в нашем случае это происходит слева направо с последовательным посимвольным сдвигом вправо и минимальной длиной подстроки – два символа, происходит на «очищенном» от знаков пунктуации и естественных разделителей тексте. Реализация такого алгоритма даёт 100% покрытия всего исходного текста.

Необходимо сказать, что в ряде случаев, возможно, потребуется своего рода «доочистка» от инородных включений – чисел, некитайских символов и слов; но это при необходимости.

Реализация алгоритма подобно этому даёт возможность производства автоматического поиска по электронному словарю или с какой-либо другой целью.

Как найти китайское слово?

2009-04-09T08:47:28-07:00

Первым вариантом ответа является – «по словарю», что, в целом, выглядит вполне закономерным; однако, в действительности всё обстоит, практически всегда, не так.

Если не спекулировать понятиями сравнительной и теоретической лингвистики, то в необходимо привязываться к конкретному случаю, а именно:

Идёт ли речь о слове в китайской речи, тексте и т.д., которая исходит от носителя языка;

Идёт ли речь о слове в китайской речи, тексте и т.д., которая исходит не от носителя языка.

Разница, обозначенная выше, на самом деле больше, нежели представляется на первый взгляд. Дело в том, что в силу своей специфики, китайский язык, по определению некоторых теоретиков от лингвистики, представляется некоторой матрицей, где повествование, вопрос и прочее строится исходя от некоторого понятия, являющегося ядром излагаемой мысли. А это практически нивелирует число возможных лексем, с помощью которых оформляется мысль в китайской речи или на письме.

Переводчик с китайского языка невольно поставлен в своего рода рамки, когда так или иначе он должен ограничивать число используемых лексем или идеограмм для их последующего исключения, т.е. ограничения или определения границ последовательно исключаемых слов, с тем, чтобы таким образом исчерпать весь материал исходного материала и закончить перевод на другой язык. Это есть перевод с китайского и таким образом строятся все синтаксические анализаторы, которые не могут работать без определения границ лексем среди всего прочего.

Носитель же китайского языка совершенно не обременён никакими границами по части передачи мысли и поэтому использует их лишь таким образом, чтобы используемые составные части не выходили за рамки понимания адресата.

Таким образом становится совершенно ясно, какие принципиальные ограничения могут иметь на сегодняшний день инструменты по обработке естественных языков, главным из которых является своеобразная условность в определении границ лексем в тексте, и где основную роль, и то только в качестве специальных ориентиров, играет объём слов, который использует компьютерная система.

SEO: общеопределяющие термины нашей технологии

2009-04-09T08:46:20-07:00

Вот примерно какими терминами мы пользуемся при работе по продвижению наших ресурсов:

Перевод с помощью компьютера (инструмент)

Computer-aided translation (tool)

计算机辅助翻译(工具)

Перевод с помощью компьютера (инструмент)

Computer-assisted translation (tool)

计算机辅助翻译(工具)

Обработка естественного языка (инструмент, сервис)

Natural language processing (tool|service)

自然语言处理（工具/服务）

Инструмент обработки электронного текста

Text processing tool

文本处理工具

Инструмент конвертации текста

Text conversion tool

转换工具

Морфологический анализатор

POS (parts of speech) tagger

词性标注器

Китайский, русский, английский (языковой инструмент)

Chinese,Russian,Englishl dictionary (language tool)

中文，俄文，英文电子词典（语言工具）

Онлайн (электронный, языковой) словарь

Online (electronic/language) dictionary

电子在线词典

Какие ещё общеопределяющие термины Вы знаете?