Что такое текстовый майнинг и как он работает?

Что такое неструктурированные данные? Проблема, которую мы решаем

Прежде чем мы сможем понять, как работает интеллектуальный анализ текста, нам нужно понять, какого зверя он призван укротить: неструктурированные данные.

Для инженера «структурированные данные» — это идеальная электронная таблица. Она состоит из аккуратных столбцов и строк: Part_Number, Material_Type, Weight_kg, Cost_USD. Всё предсказуемо, поддаётся количественной оценке и легко сортируется, фильтруется и анализируется компьютером.

Неструктурированные данные — полная противоположность. Это хаотичная информация, генерируемая человеком и составляющая более 80% всех данных в мире. Только представьте, сколько данных мы генерируем в RM каждый день:

• Электронные письма клиентов: «Отделка на части #AX-781, похоже, царапается легче, чем предыдущая партия, которую мы заказали во втором квартале. Можете разобраться?
• Журналы технического обслуживания машин: «Узел 5 оси C издаёт пронзительный свистящий звук при замедлении. Оператор заметил лёгкую вибрацию. Смазал шариковый винт, шум остался».
• Отчеты об инцидентах безопасности: «Возле листогибочного пресса обнаружена небольшая лужица гидравлической жидкости. Оператор поскользнулся, но не упал. Вытер впитывающими салфетками. Рекомендую проверить уплотнения главного цилиндра».
• Контракты с поставщиками: 50-страничный документ в формате PDF, в котором излагаются требования к качеству, графики поставок и условия чистой оплаты.
• Обзоры в Интернете: «Обычный Кронштейны, которые мы получили от RM, были идеальными! Они подошли идеально и выдержали экстремальные испытания на прочность.

Это настоящий кладезь информации. В этих предложениях скрыты подсказки о том, контроль качества проблемы, необходимость предиктивного обслуживания, угрозы безопасности и удовлетворенность клиентов. Но компьютер не может просто «прочитать» предложение и понять его смысл, намерение и эмоциональную окраску. Нельзя вставить адрес электронной почты в ячейку электронной таблицы и попросить компьютер «найти всех недовольных клиентов».

Эту проблему решает интеллектуальный анализ текста.

Определение интеллектуального анализа текста: преобразование слов в числа

По своей сути, интеллектуальный анализ текста — это процесс использования программного обеспечения для автоматического извлечения высококачественной информации из неструктурированного текста. Это междисциплинарная область, объединяющая поиск информации, интеллектуальный анализ данных, машинное обучение, статистику и компьютерную лингвистику.

Но вот определение инженера:

Анализ текста — это процесс преобразования необработанного человеческого языка в структурированные числовые данные, которые можно проанализировать для выявления закономерностей, тенденций и выводов, которые человек не смог бы обнаружить вручную.

Речь идет о превращении запутанного журнала обслуживания в структурированную строку данных, которая может выглядеть следующим образом:

Как только вы научитесь делать это с тысячами журналов, вы сможете начать задавать важные вопросы: «Как часто „скуление“ по оси C предсказывает полный отказ подшипника в течение 30 дней?» Внезапно у вас появляется система предиктивного обслуживания, построенная на отзывах ваших технических специалистов. В этом и заключается сила интеллектуального анализа текста.

Теперь, когда мы понимаем «что» и «почему», мы готовы исследовать «как». Какие шаги на самом деле предпринимает компьютер, чтобы прочитать предложение и извлечь из него смысл? В следующем разделе я пошагово расскажу вам о процессе анализа текста — от необработанного текста до конечного результата.

Конвейер интеллектуального анализа текста: сборочная линия для слов

Чтобы получить из необработанного блока алюминий в готовом видеДля изготовления высокоточного компонента необходим процесс — последовательность этапов на сборочной линии. Вы очищаете его, режете, придаёте форму и, наконец, проверяете. Анализ текста работает точно так же. Мы не можем просто отправить тысячу писем на компьютер и попросить дать нам информацию. Мы должны провести текст по конвейеру, по структурированной сборочной линии, которая методично преобразует хаос в порядок.

Давайте пройдемся по этой сборочной линии, используя этот образец из журнала технического обслуживания в качестве нашего «сырого материала». материал»:

Техник №45 сообщил, что главный шпиндель Haas VF-4 снова издаёт громкий скрежет. Это уже третий случай за месяц. Мы заменили подшипники на прошлой неделе. Рекомендуем проверить систему смазки на предмет засоров.

Шаг 1: Предварительная обработка текста (станция очистки)

Прежде чем вы сможете машина часть, необходимо очистить его — удалить грязь, жир и дефекты литья. Предварительная обработка данных — это то же самое. Это, пожалуй, самый важный этап, поскольку мусор на входе равен мусору на выходе. Цель — стандартизировать текст и удалить «шум», чтобы компьютер мог сосредоточиться на словах, несущих информацию. реальный смысл.

Сегментация предложений и токенизация

Сначала мы разбиваем блок текста на удобные для восприятия части.

• Сегментация предложений: Компьютер разбивает текст на отдельные предложения.
  1. «Техник № 45 сообщил, что главный шпиндель Haas VF-4 снова издает громкий скрежет».
  2. «Это уже третий раз в этом месяце».
  3. «На прошлой неделе мы заменили подшипники».
  4. «Рекомендую проверить систему смазки на предмет засоров».
• лексемизация: Затем мы разбиваем каждое предложение на отдельные «токены», которые обычно представляют собой слова или знаки препинания. Первое предложение принимает вид: ["Technician", "#45", "reported", "that", "the", "Haas", "VF-4's", "main", "spindle", "was", "making", "a", "loud", "grinding", "noise", "again", "."]

Это первый шаг к деконструкции человеческого языка для машины.

Остановить удаление слова

Теперь приступаем к удалению ненужного материала. «Стоп-слова» — это чрезвычайно распространённые слова, не несущие большой семантической ценности, такие как «the», «a», «is», «in» и «was». Они — лингвистический эквивалент воздуха в грузовом контейнере: они занимают место, но не добавляют ценности его содержимому.

После удаления стоп-слов из нашего токенизированного предложения оно выглядит намного чище: ["Technician", "#45", "reported", "Haas", "VF-4's", "main", "spindle", "making", "loud", "grinding", "noise", "again", "."] Основной смысл все еще сохраняется, но он становится гораздо более лаконичным.

Стемминг и лемматизация

Это критически важный этап стандартизации. Люди понимают, что «grind», «grinding» и «grinds» относятся к одному и тому же базовому понятию. Компьютер воспринимает их как три совершенно разных слова. Стемминг и лемматизация — два метода решения этой проблемы путём приведения слов к их корневой форме.

• Стебель: Грубый, но быстрый метод, который просто отсекает окончание слов, чтобы получить общую основу. Например, он может превратить «grinding» в «grind», а «replaced» в «replac». Это быстро, но иногда полученная основа не является настоящим словом.
• Лемматизация: Более интеллектуальный метод, использующий словарь и грамматический анализ для сокращения слов до их корня, известный как «лемма». Он правильно преобразует «was» в «be», «replaced» в «replace», а «bearings» в «bearing». Он медленнее, но точнее.

Для наших журналов обслуживания мы будем использовать лемматизацию для обеспечения точности. Обработанные токены из всей записи журнала теперь могут выглядеть следующим образом: ["technician", "45", "report", "haas", "vf-4", "main", "spindle", "make", "loud", "grind", "noise", "third", "time", "month", "replace", "bearing", "last", "week", "suggest", "check", "lubrication", "system", "blockage"].

Теперь у нас есть чёткий, стандартизированный набор осмысленных слов. Текст подготовлен и готов к основной операции обработки: извлечению признаков.

Шаг 2: От чистых слов к структурированным данным (трансформация)

Это волшебство часть процесса, где мы наконец Превращать наши чистые слова в числа, которые компьютер может проанализировать. Это называется извлечение признаков or особенность техники. Существует много способов сделать это, но два из них наиболее распространены.

Метод 1: Частота термина — Обратная частота документа (TF-IDF)

Это классический и мощный метод определения наиболее часто встречающихся слов. важную в документе, относящемся к целой коллекции документов («корпусу»). Это система оценки, основанная на простой и блестящей идее:

1. Частота термина (TF): Как часто слово встречается в одном документе? Слово, которое встречается много раз, вероятно, важно. к этому документу.
2. Обратная частота документов (IDF): Насколько редко или распространено слово в ВСЕ Документы? Такие распространённые слова, как «машина» или «система», которые встречаются в каждом журнале технического обслуживания, не очень специфичны. Редкие слова, такие как «засор» или «заклинивание», которые встречаются лишь в нескольких журналах, имеют большое значение.

Показатель TF-IDF — это просто TF, умноженное на IDF. Он присваивает высокий балл словам, которые часто встречаются в одном документе, но редко встречаются в других. Именно эти слова с наибольшей вероятностью подскажут вам, о чём идёт речь в данном документе. о.

Предположим, у нас есть 1,000 журналов обслуживания. Вот как TF-IDF может оценивать некоторые слова из нашего примера журнала:

Вычисляя этот показатель для каждого слова, мы преобразуем наш документ из списка слов в числовой вектор — список чисел, представляющий собой уникальный отпечаток документа.

Метод 2: Встраивание слов (продвинутый метод)

Хотя TF-IDF хорош, у него есть недостаток: он теряет контекст. Он не знает, что «вибрация» и «тряска» — это одно и то же, или что «шпиндель» — это… часть «ЧПУ».

Вложения слов Более современный подход, основанный на нейронных сетях, решает эту проблему. Вместо простого подсчёта баллов этот метод представляет каждое слово как вектор из сотен чисел. Представьте, что каждому слову присвоена координата в многомерном пространстве. В этом пространстве слова со схожим значением расположены близко друг к другу.

Это позволяет реализовать невероятные, почти человеческие рассуждения. Классический пример: если взять вектор для слова «Король», вычесть вектор для слова «Мужчина» и добавить вектор для слова «Женщина», то ближайшим словом во всем пространстве будет «Королева». В нашем мире это означает, что модель может усвоить, что VF-4 - Milling + Turning = Lathe, или что «скрежет» и «скуление» — симптомы неисправности подшипника. Это отражает взаимосвязи и контекст между словами, что является огромным шагом в понимании.

Шаг 3: Поиск шаблонов (Станция инспекции)

Теперь, когда наш текст представляет собой структурированные числовые данные (в виде векторов TF-IDF или вложенных слов), мы можем наконец мой Он использует алгоритмы машинного обучения. Именно здесь можно найти настоящие знания.

• Анализ настроений: Мы можем обучить модель читать электронные письма или отзывы клиентов и классифицировать их как положительные, отрицательные или нейтральные. В RM это помогает нам мгновенно отмечать недовольных клиентов для последующего звонка.
• Моделирование темы: Алгоритм может считывать все 1,000 журналов технического обслуживания и автоматически группировать их по темам, таким как «Сбои в работе системы смазки», «Проблемы с подшипниками шпинделя», «Сбои программного обеспечения» и «Утечки в гидравлике». Это позволяет выявить наиболее распространённые виды отказов на всём заводе, без необходимости участия человека в чтении всех журналов.
• Распознавание именованных объектов (NER): Это позволяет идентифицировать и извлекать из текста определённые сущности, такие как номера деталей, идентификаторы оборудования, имена технических специалистов и даты. Таким образом, мы можем автоматически заполнить эту структурированную таблицу из необработанного текстового журнала.

Мы завершили наш обзор процесса интеллектуального анализа текста. Мы взяли неструктурированный фрагмент текста, очистили его, преобразовали в числа и извлекли ценные, применимые на практике закономерности.

Но знание процесса — это только половина дела. Какие конкретные инструменты и языки программирования вы используете для построения этого конвейера? И в каких ещё реальных приложениях эта технология может принести пользу? В заключительном разделе мы рассмотрим инструментарий текстового майнера и другие примеры того, как этот процесс меняет отрасли промышленности от инжиниринга до финансов.

Инструментарий текстового майнера: от кода до облака

Мы прошлись по конвейеру для интеллектуального анализа текста, но какие инструменты и машины мы используем для этого? В моём мире можно купить стандартный Станок с ЧПУ Вы можете приобрести готовые решения или создать специализированную роботизированную ячейку для конкретной задачи. В мире интеллектуального анализа текста та же динамика. Существуют мощные и гибкие языки программирования для индивидуальных решений, а также удобные облачные платформы, которые работают как готовые инструменты.

Язык выбора: Python

Здесь нет места спорам. В мире науки о данных и машинного обучения Python — бесспорный король. Дело не в том, что это самый быстрый язык, а в том, что он обладает самой мощной и развитой экосистемой бесплатных библиотек с открытым исходным кодом, которые обрабатывают каждый этап конвейера анализа текста, о котором мы только что говорили.

Подумайте об этих библиотеках как о специализированных инструментах и фрезы, которые вы загружаете в станок с ЧПУ:

• Для предварительной обработки (станция очистки):
  • NLTK (Набор инструментов для естественного языка): Оригинальная рабочая лошадка. Великолепно подходит для обучения и обладает мощными инструментами для токенизации, стемминга и лемматизации. Это как полный набор ручных инструментов — универсальный и отлично подходит для понимания основ.
  • ПРОСТРАНСТВЕННЫЙ: Современный инструмент промышленного уровня. Он невероятно быстрый и эффективный, с предобученными моделями, которые отлично справляются с такими задачами, как распознавание именованных сущностей (NER), прямо из коробки. Если NLTK — это ручной инструмент, то spaCy — высокопроизводительный мощный инструмент.
• Для переработки и добычи полезных ископаемых (станция механической обработки и инспекции):
  • Scikit-Learn: Это своего рода швейцарский нож машинного обучения на Python. Он предоставляет простой и последовательный интерфейс для всего: от расчёта векторов TF-IDF до построения моделей классификации и кластеризации. Это основа бесчисленных реальных приложений в области науки о данных.
  • Генсим: Узкоспециализированная библиотека, ориентированная на тематическое моделирование и работу с векторными представлениями слов. Когда вам нужно решить одну задачу — понять тематическую структуру документов, — Gensim справляется с ней исключительно хорошо.
  • Трансформеры для обнимающего лица: Это передовая технология. Она обеспечивает лёгкий доступ к массивным, передовым моделям нейронных сетей (таким как BERT и GPT), которые мастерски распознают контекст. Это эквивалентно 5-осевой модели. Станок с ЧПУ с помощью лазерного инструмента — это позволяет выполнять задачи с таким уровнем детализации и сложности, который был невозможен еще несколько лет назад.

Для системы предиктивного обслуживания в RM наш конвейер полностью написан на Python с использованием spaCy для быстрого извлечения сущностей и Scikit-learn для построения окончательных моделей прогнозирования отказов. Это обеспечивает нам максимальный контроль и производительность.

Рост популярности платформ без кода и с минимальным написанием кода

А что, если вы не программист? Так же, как вам не нужно быть механиком, чтобы заказать пользовательская частьВам больше не нужно быть специалистом по анализу данных, чтобы использовать интеллектуальный анализ текста. Крупнейшие поставщики облачных услуг интегрировали эти сложные конвейеры в простые в использовании API (интерфейсы прикладного программирования).

Вы просто отправляете им необработанный текст, а они присылают вам структурированный анализ.

• API Google Cloud Natural Language: Вы можете отправить ему обзор продукта, и он вернет оценку его тональности, определит ключевые сущности (название продукта, характеристики) и даже классифицирует его по категории, например, «электроника».
• Амазонка понимает: Подобно предложению Google, он может выполнять анализ настроений, тематическое моделирование и распознавание сущностей с помощью простого вызова API. Он предназначен для быстрого анализа больших объёмов документов.
• Когнитивная служба Microsoft Azure для языка: Еще один мощный набор инструментов, позволяющий встраивать сложный текстовый анализ в ваши приложения без необходимости самостоятельного написания базового кода машинного обучения.

Эти сервисы — своего рода «мастерские по поиску работы» в мире интеллектуального анализа текста. Они невероятно эффективны для решения стандартных задач, позволяя компаниям быстро добавлять возможности текстовой аналитики в свои продукты и процессы без необходимости нанимать отдельную команду специалистов по анализу данных.

Реальные приложения: за пределами заводского цеха

Система предиктивного обслуживания в RM — лишь одно из применений. Истинная сила интеллектуального анализа текста заключается в его универсальности. Его можно применять в любой области, где есть большой объём неструктурированного текста.

Анализ голоса клиента (VoC)

Это один из самых распространённых и наиболее ценных вариантов использования. Компании буквально завалены отзывами клиентов из опросов, онлайн-отзывов, писем в службу поддержки и стенограмм колл-центров.

• Проблема: Менеджер не может прочитать 10 000 ответов на опросы, чтобы выяснить, почему падают показатели удовлетворенности клиентов.
• Решение для интеллектуального анализа текста: Конвейер может обработать все 10 000 ответов. Анализ настроений выделяет негативные комментарии. Моделирование тем автоматически группирует их по темам, например, «Медленная доставка», «Неудобный пользовательский интерфейс» или «Дефектная деталь № X-45B». Теперь компания точно знает, на чём сосредоточить усилия по улучшению.

Конкурентная разведка и маркетинговые исследования

Что делают ваши конкуренты? Какие тенденции наметились в вашей отрасли?

• Проблема: Отслеживание каждого вручную Новости Написание статей, пресс-релизов, подача патентных заявок и размещение постов в социальных сетях для дюжины конкурентов — это постоянная работа для целой команды аналитиков.
• Решение для интеллектуального анализа текста: Автоматизированная система может сканировать и «считывать» все эти общедоступные данные в режиме реального времени. Распознавание именованных сущностей позволяет определить, когда конкурент выпускает новый продукт или нанимает ключевого руководителя. Тематическое моделирование позволяет выявлять новые технологии или изменения в настроениях рынка задолго до того, как они станут популярными новостями.

Управление рисками и соблюдение

В таких областях, как юриспруденция и финансы, «текст» часто представляет собой сложные юридические контракты или сложные финансовые отчеты.

• Проблема: Проверка 500-страничного контракта на предмет его соответствия всем нормам и отсутствия рискованных пунктов — это медленный, дорогостоящий и подверженный ошибкам ручной процесс.
• Решение для интеллектуального анализа текста: Модель можно обучить читать контракты и мгновенно отмечать нестандартные положения, выявлять недостающую информацию или даже прогнозировать, приведет ли положение к судебному разбирательству на основе исторических данных.

Окончательный вердикт: интеллектуальный анализ текста — всего лишь модное словечко?

Конечно нет. Анализ текста — это фундаментальная технология. Это такой же скачок, как и Обработка на станках с ЧПУ в сравнении с ручным фрезерованием. Оба они связаны с применением автоматизации и интеллекта к сырому материалу — в одном случае к металлу, в другом — к тексту — для создания чего-то более ценного с точностью, скоростью и масштабом.

Мы живём в эпоху, когда подавляющее большинство новых данных представляют собой неструктурированный текст и изображения. Наша способность конкурировать и внедрять инновации будет напрямую зависеть от нашей способности автоматически обрабатывать эту информацию и превращать её в практические решения. Анализ текста — это не просто модное слово, это двигатель, который будет питать интеллектуальный бизнес следующего поколения.

Часто задаваемые вопросы (FAQ)

В чем разница между интеллектуальным анализом текста и интеллектуальным анализом данных?

Интеллектуальный анализ данных (Data Mining) — это более широкий термин для поиска закономерностей в больших наборах данных. Текстовый анализ — это специализированный метод. форма интеллектуального анализа данных, где источником данных является неструктурированный текст. Можно представить интеллектуальный анализ текста как процесс первоначального преобразования текста в структурированные данные, которые затем можно «добывать» с помощью традиционных методов интеллектуального анализа данных.

Является ли интеллектуальный анализ текста тем же самым, что и обработка естественного языка (NLP)?

Они очень тесно связаны, но не идентичны. НЛП — это широкая область компьютерной науки, направленная на то, чтобы компьютеры могли понимать, интерпретировать и генерировать человеческий язык. Интеллектуальный анализ текста — это приложению Методов обработки естественного языка (NLP) для решения конкретной задачи, которая обычно заключается в обнаружении новой информации и закономерностей в тексте. NLP предоставляет инструменты (такие как токенизация, NER и анализ тональности); интеллектуальный анализ текста использует эти инструменты для поиска сокровищ.

Нужно ли быть программистом, чтобы использовать интеллектуальный анализ текста?

Больше нет. Хотя создание специализированной высокопроизводительной системы требует навыков программирования (обычно на Python), рост числа платформ без написания кода и облачных API от Google, Amazon и Microsoft позволяет любому использовать мощные возможности анализа текста для решения таких распространенных задач, как анализ тональности текста и распознавание сущностей.

Что самое сложное в анализе текста?

Почти каждый практикующий даст вам один и тот же ответ: предварительная обработка текстаРеальный мир запутан. Текст полон опечаток, сленга, сарказма и двусмысленной лексики. Очистка и стандартизация этих данных для того, чтобы их могла понять модель машинного обучения, часто составляет 80% успеха. работаетСтарая поговорка «мусор на входе — мусор на выходе» — абсолютный закон в области интеллектуального анализа текста.

Референсы

• Стэнфордская группа обработки естественного языка: ведущая в мире академическая и исследовательская группа, предоставляющая основополагающие знания, наборы данных и алгоритмы для сообщества специалистов по обработке естественного языка.
• Документация Scikit-learn: Работа с текстовыми данными: Замечательное и практичное руководство от разработчиков самой популярной библиотеки машинного обучения на Python, показывающее, как построить настоящий конвейер классификации текста с нуля.
• spaCy: Промышленная обработка естественного языка: Официальный веб-сайт библиотеки spaCy, предлагающий отличную документацию и примеры того, как использовать ее быстрые и современные инструменты для задач обработки текста.

Условия использования

Информация на этой странице предназначена только для информационных целей. RM Компания не предоставляет никаких гарантий, явных или подразумеваемых, относительно точности или полноты данной информации. Для любых услуг третьих лиц, приобретённых через RM сеть, покупатель несет ответственность за указание и подтверждение параметров производительности, допусков, материалыи качество работы в процессе составления сметы. Для получения более подробной информации, пожалуйста, свяжитесь с нами.o Свяжитесь с нами.

RM: Ваш партнер в области точного производства

RM является лидером отрасли в индивидуальные производственные решения. Обладая более чем 20-летним богатым опытом, мы стали надежным партнером для более чем 5,000 клиентов по всему миру. Мы специализируемся на широком спектре производственных услуг, включая высокоточную обработку. CNC-обработка, изготовление листового металла, 3D печать, литье под давлением и металлическое тиснение— чтобы предоставить вам истинную опыт комплексного обслуживания.

Наше предприятие мирового класса оснащено более чем 100 современными Обработка по оси 5 центры и работают в строгом соответствии с ISO 9001:2015 Система контроля качестваМы стремимся предоставлять решения, сочетающие в себе скорость, эффективность и исключительное качество, клиентам в более чем 150 странах. Быстрое прототипирование до крупномасштабного производства мы гарантируем доставку в течение 24 часов, помогая вам получить конкурентное преимущество на рынке. Выбор РМ означает выбор эффективного, надежного и профессионального производственного партнера.

Ознакомьтесь с нашими возможностями уже сегодня, посетив наш веб-сайт: www.rapmaf.com