README.md

    Crawler

    Категоризация веб-сайтов

    Python Version

    Приложение, которое категоризирует сайты согласно заранее определённым спискам категорий на основе регулярных выражений. Решает проблему категоризации сайтов. Решает проблему автоматизации категоризации сайтов

    Methodology of safe software development and operation IS NSTU

    Установка приложения

    Просто клонируйте этот репозиторий с помощью git clone, установите зависимости и выполните main.py файл.

    git clone https://github.com/player7004/Crawler.git
    cd Crawler
    pip install -r requirements.txt
    

    Запуск

    python main.py
    

    Пример работы

    1. Запуск программы

    2. Загрузка регулярных выражений

    3. Загрузка базы сайтов

    4. Результат работы

    Описание

    Простой обходчик сайтов. Проходится по заданному списку сайтов и категоризирует их согласно заданным регулярным выражениям и категориям.

    Конвейеры
    0 успешных
    0 с ошибкой