new-words
annotate README @ 1:4c9076f87241
Различать регистр; поддержка разных алфавитов.
Раньше слова все приводились к нижнему регистру,
теперь я сделал, что они остаются в исходном регистре.
Убрал фильтрацию по a-zA-Z, заменив её на [[:alnum:]],
таким образом, нормально стали обрабатываться другие алфавиты.
Пока проверял на русском только.
Раньше слова все приводились к нижнему регистру,
теперь я сделал, что они остаются в исходном регистре.
Убрал фильтрацию по a-zA-Z, заменив её на [[:alnum:]],
таким образом, нормально стали обрабатываться другие алфавиты.
Пока проверял на русском только.
| author | igor@book.xt.vpn |
|---|---|
| date | Mon Feb 22 08:34:11 2010 +0200 (2010-02-22) |
| parents | b21fb3f1fcb7 |
| children | 68722cd6faff |
| rev | line source |
|---|---|
| igor@0 | 1 |
| igor@0 | 2 Программа, которая помогает нам находить неизвестные |
| igor@0 | 3 слова в новом тексте |
| igor@0 | 4 |
| igor@0 | 5 Подробности: http://xgu.ru/wiki/new-words |
| igor@0 | 6 |
| igor@0 | 7 == Файлы == |
| igor@0 | 8 |
| igor@0 | 9 README Файл, который мы сейчас читаем |
| igor@0 | 10 new-words.sh Собственно программа (написана на sh) |
| igor@0 | 11 new-words.pl Программа new-words, которую мы когда-нибудь напишем на Perl |
| igor@0 | 12 |
| igor@0 | 13 |
| igor@0 | 14 == Что сделать == |
| igor@0 | 15 |
| igor@0 | 16 * Переписать на Perl (пока на Perl) |
| igor@0 | 17 * Пометки к словам |
| igor@0 | 18 * Статистика по текущему тексту; уровни покрытия словами текста |
| igor@0 | 19 * Время добавления слова и прогресс добавления |
| igor@0 | 20 * Источник слова |
| igor@0 | 21 * Поиск предложений, содержащих слова, в тексте |
| igor@0 | 22 * Автоматическое определение языка по тексту |
| igor@0 | 23 |
| igor@0 | 24 |