Какими инструментами можно выделить паттерны из текста?

Инструменты для выделения паттернов из текста

Выделение паттернов (pattern matching) из текста — это фундаментальная задача в обработке текста. Разберу различные подходы и инструменты.

1. Регулярные выражения (Regex)

Простой и мощный способ для точных паттернов.

import re

# Пример 1: Email
email_pattern = r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'
text = "Contact us at support@example.com or help@test.org"
emails = re.findall(email_pattern, text)
print(emails)  # ['support@example.com', 'help@test.org']

# Пример 2: Телефонный номер
phone_pattern = r'\+?1?\d{9,15}'
text = "Call +1-234-567-8900 or 9876543210"
phones = re.findall(phone_pattern, text)

# Пример 3: URL
url_pattern = r'https?://(?:www\.)?[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'
text = "Visit https://example.com or www.test.org"
urls = re.findall(url_pattern, text)

# Замена паттернов
text = "The year is 2024"
text = re.sub(r'\d{4}', 'YYYY', text)  # "The year is YYYY"

# Группирование
pattern = r'(\w+)@(\w+\.\w+)'  # email structure
match = re.match(pattern, "john@example.com")
if match:
    username, domain = match.groups()
    print(f"User: {username}, Domain: {domain}")

Плюсы:

• ✅ Быстро и эффективно
• ✅ Встроено в Python (re модуль)
• ✅ Хорошо для точных паттернов

Минусы:

• ❌ Сложные regex трудно читать
• ❌ Не подходит для сложных языковых паттернов
• ❌ Нет понимания контекста

2. Natural Language Processing (NLP) — spaCy

Для сложных лингвистических паттернов.

import spacy

# Загрузить модель
nlp = spacy.load('en_core_web_sm')

text = "Apple Inc. was founded by Steve Jobs in California. The company is headquartered in Cupertino."
doc = nlp(text)

# 1. Named Entity Recognition (выделение сущностей)
for ent in doc.ents:
    print(f"{ent.text}: {ent.label_}")  # ORG, PERSON, GPE, etc.
# Output:
# Apple Inc.: ORG
# Steve Jobs: PERSON
# California: GPE
# Cupertino: GPE

# 2. Part-of-Speech tagging (определение частей речи)
for token in doc:
    print(f"{token.text}: {token.pos_}")
# Output:
# Apple: PROPN
# Inc.: PROPN
# was: AUX
# founded: VERB

# 3. Dependency parsing (структура предложения)
for token in doc:
    if token.dep_ == "ROOT":
        print(f"Root verb: {token.text}")

# 4. Пользовательские паттерны
from spacy.matcher import Matcher

matcher = Matcher(nlp.vocab)

# Pattern: PROPN + VERB (например, "Apple was")
pattern = [{"POS": "PROPN"}, {"POS": "AUX"}]
matcher.add("PATTERN1", [pattern])

matches = matcher(doc)
for match_id, start, end in matches:
    print(f"Match: {doc[start:end].text}")

Плюсы:

• ✅ Понимает лингвистическую структуру
• ✅ Named Entity Recognition (NER)
• ✅ Dependency parsing
• ✅ Хорошо для сложных паттернов

Минусы:

• ❌ Медленнее чем regex
• ❌ Зависит от качества модели
• ❌ Требует загрузки больших моделей

3. NLTK (Natural Language Toolkit)

Классический NLP инструмент (более общий чем spaCy).

import nltk
from nltk import word_tokenize, pos_tag, ne_chunk
from nltk.tree import Tree

nltk.download('punkt')  # для tokenizer
nltk.download('averaged_perceptron_tagger')  # для POS tagging
nltk.download('maxent_ne_chunker')  # для NER
nltk.download('words')

text = "Barack Obama was born in Hawaii."

# Tokenization
tokens = word_tokenize(text)
print(tokens)  # ['Barack', 'Obama', 'was', 'born', 'in', 'Hawaii', '.']

# POS Tagging
tagged = pos_tag(tokens)
print(tagged)
# [('Barack', 'NNP'), ('Obama', 'NNP'), ('was', 'VBD'), ('born', 'VBN'), ...]

# Named Entity Recognition
ne_tree = ne_chunk(tagged)
print(ne_tree)
# Tree('S',
#   [Tree('PERSON', [('Barack', 'NNP'), ('Obama', 'NNP')]),
#    ...])

# Поиск конкретной структуры
for subtree in ne_tree:
    if isinstance(subtree, Tree) and subtree.label() == 'PERSON':
        print(f"Person: {subtree}")

Плюсы:

• ✅ Большая экосистема
• ✅ Много встроенных функций
• ✅ Хорошо для быстрого прототипирования

Минусы:

• ❌ Медленнее spaCy
• ❌ Менее гибкий чем spaCy

4. Regex с расширенными функциями

Для специфических паттернов можно комбинировать regex с логикой.

import re
from typing import List, Tuple

class PatternExtractor:
    # Email
    EMAIL_PATTERN = r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'
    
    # Credit Card (без реального использования, только для примера)
    CREDIT_CARD = r'\b(?:\d{4}[- ]?){3}\d{4}\b'
    
    # Date (YYYY-MM-DD)
    DATE_PATTERN = r'\d{4}-\d{2}-\d{2}'
    
    # IP Address
    IP_PATTERN = r'(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)'
    
    @staticmethod
    def extract_emails(text: str) -> List[str]:
        return re.findall(PatternExtractor.EMAIL_PATTERN, text)
    
    @staticmethod
    def extract_dates(text: str) -> List[str]:
        return re.findall(PatternExtractor.DATE_PATTERN, text)
    
    @staticmethod
    def extract_ips(text: str) -> List[str]:
        return re.findall(PatternExtractor.IP_PATTERN, text)
    
    @staticmethod
    def extract_urls(text: str) -> List[str]:
        pattern = r'https?://(?:www\.)?(?:[a-zA-Z0-9-]+\.)+[a-zA-Z]{2,}(?:/[^\s]*)?'
        return re.findall(pattern, text)

# Использование
text = """
Contact us at support@example.com
Visit https://example.com
Date: 2024-03-15
Server: 192.168.1.1
"""

extractor = PatternExtractor()
print("Emails:", extractor.extract_emails(text))
print("URLs:", extractor.extract_urls(text))
print("Dates:", extractor.extract_dates(text))
print("IPs:", extractor.extract_ips(text))

5. Machine Learning подход — для сложных паттернов

Когда паттерны не четко определены, используй ML.

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
import numpy as np

# Документы с разными паттернами
documents = [
    "The cat is on the mat",
    "A dog is sleeping",
    "The bird is flying",
    "Machine learning is useful",
    "Deep learning models are powerful",
    "Neural networks process data"
]

# Векторизировать текст
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(documents)

# Кластеризировать (найти паттерны)
kmeans = KMeans(n_clusters=2, random_state=42)
kmeans.fit(X)

# Вывести паттерны (кластеры)
for i, cluster in enumerate(kmeans.labels_):
    print(f"Document: '{documents[i]}'")
    print(f"Cluster: {cluster}")
    print()

# Cluster 0: животные
# Cluster 1: ML/технология

6. Sequence Tagging с BiLSTM/Transformer

Для более сложных задач типа Part-of-Speech tagging, NER.

# Используя готовую модель (transformers library)
from transformers import pipeline

# Named Entity Recognition
ner_pipeline = pipeline("ner", grouped_entities=True)
text = "My name is Sarah and I live in London."
results = ner_pipeline(text)

for entity in results:
    print(f"{entity['word']}: {entity['entity_group']}")
# Sarah: PER
# London: LOC

# Token Classification (Part-of-Speech)
pos_pipeline = pipeline("pos", model="openai-community/openai-gpt")
results = pos_pipeline("The quick brown fox")
for token in results:
    print(f"{token['token']}: {token['entity']}")

7. Fuzzy Matching — для примерного совпадения

Когда точное совпадение невозможно (опечатки, варианты).

from fuzzywuzzy import fuzz
from fuzzywuzzy import process

# Простое сравнение
s1 = "hello"
s2 = "helo"  # опечатка
ratio = fuzz.ratio(s1, s2)  # 80

# Поиск в списке
names = ["John Smith", "Jane Doe", "Johnny Smiths"]
query = "John Smth"  # опечатка

best_match = process.extractOne(query, names, scorer=fuzz.ratio)
print(best_match)  # ('John Smith', 90)

# Все совпадения с threshold
matches = process.extract(query, names, scorer=fuzz.ratio, limit=3)
for match, score in matches:
    print(f"{match}: {score}%")

8. Сравнение инструментов

Практический workflow

from typing import List, Dict
import re
import spacy
from fuzzywuzzy import process

class TextPatternExtractor:
    def __init__(self):
        self.nlp = spacy.load('en_core_web_sm')
        self.email_pattern = r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'
        self.url_pattern = r'https?://\S+'
    
    def extract_all(self, text: str) -> Dict[str, List]:
        """Выделить все известные паттерны"""
        doc = self.nlp(text)
        
        return {
            'emails': re.findall(self.email_pattern, text),
            'urls': re.findall(self.url_pattern, text),
            'entities': [(ent.text, ent.label_) for ent in doc.ents],
            'nouns': [token.text for token in doc if token.pos_ == 'NOUN'],
            'verbs': [token.text for token in doc if token.pos_ == 'VERB'],
        }

# Использование
extractor = TextPatternExtractor()
text = """
Contact John Doe at john@example.com
Visit https://example.com for more info.
We sell products in New York and California.
"""

patterns = extractor.extract_all(text)
for pattern_type, values in patterns.items():
    print(f"{pattern_type}: {values}")

Мой рекомендуемый выбор

По типу задачи:

1. Email, URL, номера телефонов → Regex (fast, simple)
2. Сущности (люди, места, организации) → spaCy NER
3. Части речи и грамматика → spaCy или NLTK
4. Опечатки и примерное совпадение → fuzzywuzzy
5. Кластеризирование текстов → KMeans + TF-IDF
6. SOTA NLP задачи → Transformers (BERT, RoBERTa)
7. Сложные лингвистические паттерны → spaCy + custom patterns

Вывод

Выбор инструмента зависит от:

• Точность vs скорость
• Сложность паттерна
• Контекст (нужно ли понимание?
• Production requirements (latency, memory)

Начни с regex, поднимайся к NLP если regex недостаточно!