ai_file_manager

Полное описание проекта в файле - Презентация на защиту.pptx

• Научно исследовательская работа на тему : ” Разработка модуля быстрого поиска файлов в ОС СН с применением технологии искусственного интеллекта ”

  Цель работы - ускорение процесса поиска нужного файла путем использования интеллектуального поиска по контексту файлов.

  Для этого в работе был реализован конвейер на основе технологии RAG, с применением локально используемой нейронной сети и библиотеки для извлечения текстов из большинства файлов содержащих текстовые данные (в том чилсле PDF, PPTX и тд)

  Основные технологии :

  • multi-qa-MiniLM-L6-cos-v1 (https://huggingface.co/sentence-transformers/multi-qa-MiniLM-L6-cos-v1)
  • Dedoc ( https://dedoc.readthedocs.io/en/latest/getting_started/usage.html)
  • Langchain

After you git clone this repo :

pip install -q torch transformers accelerate bitsandbytes langchain sentence-transformers faiss-gpu openpyxl pacmap tantivy==0.20.1 lancedb fastapi

1. Install Git LFS:

   • On Fedora: sudo dnf install git-lfs
   • On Ubuntu/Debian: sudo apt install git-lfs

2. Install Git LFS:

   git lfs install
   

3. You need install and run Dedoc (https://dedoc.readthedocs.io/en/latest/getting_started/installation.html):

   docker run -p 1231:1231 --rm dedocproject/dedoc python3 /dedoc_root/dedoc/main.py
   

4. Clone the AI model repository:

   cd ai_file_manager
   git clone https://huggingface.co/sentence-transformers/multi-qa-MiniLM-L6-cos-v1
   

5. Run: mkdir test_files Запустить два скрипта параллельно в фоновом режиме:

   Используйте символ & для запуска скриптов : в первой вкладке терминала

   python3 file_notifier.py 
   

   во второй:

   python3 server.py