new-words

annotate README @ 1:4c9076f87241

Различать регистр; поддержка разных алфавитов.

Раньше слова все приводились к нижнему регистру,
теперь я сделал, что они остаются в исходном регистре.
Убрал фильтрацию по a-zA-Z, заменив её на [[:alnum:]],
таким образом, нормально стали обрабатываться другие алфавиты.
Пока проверял на русском только.
author igor@book.xt.vpn
date Mon Feb 22 08:34:11 2010 +0200 (2010-02-22)
parents b21fb3f1fcb7
children 68722cd6faff
rev   line source
igor@0 1
igor@0 2 Программа, которая помогает нам находить неизвестные
igor@0 3 слова в новом тексте
igor@0 4
igor@0 5 Подробности: http://xgu.ru/wiki/new-words
igor@0 6
igor@0 7 == Файлы ==
igor@0 8
igor@0 9 README Файл, который мы сейчас читаем
igor@0 10 new-words.sh Собственно программа (написана на sh)
igor@0 11 new-words.pl Программа new-words, которую мы когда-нибудь напишем на Perl
igor@0 12
igor@0 13
igor@0 14 == Что сделать ==
igor@0 15
igor@0 16 * Переписать на Perl (пока на Perl)
igor@0 17 * Пометки к словам
igor@0 18 * Статистика по текущему тексту; уровни покрытия словами текста
igor@0 19 * Время добавления слова и прогресс добавления
igor@0 20 * Источник слова
igor@0 21 * Поиск предложений, содержащих слова, в тексте
igor@0 22 * Автоматическое определение языка по тексту
igor@0 23
igor@0 24