Сервер с финансовыми данными мировых бирж.

Собственный сервер с архивом котировок с крупнейших мировых бирж.
Автоматизация с базой данных PostgreSQL.

Проект открыт для всех, но создан для личного пользования.
Репозиторий обновляемый, с постоянной поддержкой.

Обновление репозитория завершено. Вся новая информация публикуется на моём личном блоге: www.psql.pro

All information is available in English >>> GitHub.com

Технические требования.

VPS/VDS - сервер Windows.

Минимальные требования: WS 2012R, 1x2.2GHz, 1Gb RAM, 30Gb HDD, 1IP.
Python - Anaconda, Jupiter notebook. По желанию VScode.
PostgreSQL - PgAdmin, PgAgent.

Краткое описание.

1 - Python скрипт автоматически загружает данные на сервер в формате file.csv.
2 - Скрипт добавляет новые данные в таблицу PlpgSql в определенное время с помощью PgAgent.
3 - Триггер проверяет отсутствующие тикеры и создает файл file_no_data.csv.
4 - Скрипт Python снова загружает данные для отсутствующих тикеров и создает новый файл.csv.
5 - PgAgent добавляет отсутствующие тикеры в основную таблицу.

Весь процесс полностью автоматизирован.

Пример.

В этом примере мы рассмотрим загрузку котировок акций NYSE.
Создаем базу данных и настраиваем автоматическое обновление.

Example database:

Период данных = с 09 мая 1983 года.
Временной интервал = ежедневно (D)
Количество акций = 2708
Размер базы данных в формате .csv = 1,3 Гб
Количество атрибутов в базе данных PostgreSQL = от 11 млн.
Размер таблицы в PostgreSQL = от 1,1 Гб

Обновление каждый рабочий день с 06:00 утра до 06:30 утра. GMT
Цикл работает непрерывно со Вторника по Субботу.

Список акций:
Скачать: nyse_ticker_list.csv
Список акций для скрипта Python:
Скачать: python_ticker_list.txt

База данных в .csv файле:
Скачать: nyse_data.csv

Вчерашние данные:
Скачать: nyse_data_new.csv

Вы можете загрузить больше различных данных с официального сайта: www.psql.pro

Структура файлов:

Python/

ParserYahoo.ipynb - Структура и описание парсера Yahoo Finance.

PostgreSQL/

Tables.sql - Скрипты для создания таблиц.
PgAdmin.sql - Скрипты для работы с готовой таблицей данных.
PgAgent.sql - Скрипты для автоматизации работы с базой данных с помощью расширения PgAgent для PostgreSQL.
Triggers.sql - Триггеры и функции для работы с базой данных.

Структура базы данных PostgreSQL:

Database/.

nyse_ticker_list - Тикеры всех акций NYSE и их названия.
nyse_data_new - Таблица с ежедневными обновлениями.
nyse_data - Основная таблица со всеми данными.
VIEW_nyse_data - Таблица для аналитики и публичного доступа.

Структура таблиц PostgreSQL:

Скрипты используют структуру запросов, основанную на таблицах, приведенных ниже.
Измените скрипт Tables.sql, если вы будете использовать другие имена столбцов и таблиц.

nyse_ticker_list - таблица:

Ticker	Name
Varchar(30)	Varchar(100)
GIBL	GibleMibele mobyle company

nyse_data / nyse_data_new - таблица:

Date	Symbols	Adj_close	Close	High	Low	Open	Volume
Date	Varchar(10)	Numeric(21,15)	Numeric(21,15)	Numeric(21,15)	Numeric(21,15)	Numeric(21,15)	Numeric(13,2)
1983-05-09	GIBL	13.1234..	13.1234..	13.1234..	13.1234..	13.1234..	123456789.12

Подписывайтесь на обновление и новости >>> Telegram

Автор: Михаил Ксенофонтов
Контакты: ksenofontov.mihail@gmail.com
Страница: www.kseno.site

Вверх