1. Общее

1.1. Предназначение

1.1.1. Утилита (shift2sql.exe и её переименованные копии) заменяет собой обычный механизм выгрузки данных в SQL (в обычном режиме выгрузкой занимается сам сервер справочников/отчетов).
1.1.2. При настройках, описанных ниже, выгрузка пойдет автоматически с использованием утилиты, что позволит разгрузить сервер и ускорить процесс.
1.1.3. Ручной режим запуска утилиты нужен только для экспериментов и/или массовой загрузки файлов смен в другую базу. Т. е. все остальные механизмы остаются теми же (обрабатываются файлы из incoming, используется та же самая БД SQL, которую использует сервер отчетов и т. д.). Изменяется только механизм передачи в БД SQL. Всё, что Вам необходимо сделать - внести изменения в .ini файл и перезапустить сервер. Дальше все будет работать в автоматическом режиме.

1.2. Преимущества утилиты

1.2.1. Не нагружает *.exe сервера(refsrv.exe или rkReportsServer.exe)

1.2.2. Можно модифицировать алгоритм выгрузки, не затрагивая сервер

1.2.3. Можно запускать параллельно несколько процессов загрузки данных

1.2.4. Можно использовать память, не отнимая её у сервера

1.2.5. Утечки памяти не так критичны

1.3. Виды утилит

1.3.1. В современных версиях RK7 имеются три копии описанного файла приложения, которые переименованы:

refsToSQL.exe - для выгрузки справочников

shift2sql.exe - для выгрузки накопительных данных

logsToSQL.exe - для выгрузки журнала

1.4. Алгоритм работы

1.4.1. Приложением создаются копии входных наборов данных.

1.4.2. Переносит данные с учетом разного рода проверок в наборы данных в памяти.

1.4.3. Затем переносит данные из памяти в MS SQL.

1.5. Условия

1.5.1. Использование утилиты возможно в версиях сервера справочников/отчетов не ниже 7.4.21.265. Если версия ниже - необходимо обновить сервер, занимающийся выгрузкой во внешнюю БД (соответственно, может потребоваться обновление вышестоящих серверов).

1.5.2. С версий 7.5.4.0 shift2sql включен по умолчанию, т.е. в ini файле не нужно производить дополнительных настроек.

2. Использование утилиты

2.1 Автоматически

2.1.1. Файл (shift2sql.exe) должен присутствовать в каталоге, где расположен *.exe файл сервера, осуществляющего выгрузку во внешнюю БД.
Внимание: в версиях старше 7.4.21.289 файл присутствует в стандартной поставке, ручное обновление не требуется (только если не тестируете новую версию).
 
2.1.2. В ini файле сервера отчетов/справочников (в зависимости от используемого сервера) следует добавить в секции CONFIG опцию UseShift2SQL(для версий ниже 7.5.4.xxx):

[CONFIG]
...
UseShift2SQL = "1"
...
TEXT

2.2 Ручной

2.2.1. Для ручного запуска необходимо в командной строке или исполняемом файле составить текст согласно следующему шаблону:



MS SQL

shift2sql.exe "ConnectionString" "shiftsFileName" "X:\SomePath\chckconv.xml"

MS SQL (прим 2)

shift2sql.exe "ConnectionString" "shiftsFileName" "X:\SomePath\chckconv.xml" 0 "dataload" "sql\Data2MSq.exe"

PostgreSQL

shift2sql.exe "ConnectionString" "shiftsFileName" "X:\SomePath\chckconv.xml" 0 "dataload" "sql\Data2pgs.exe"

shift2sql.exe "ConnectionString" "shiftsFileName" "C:\SomePath\chckconv.xml" 0 "dataload" "sql\data2msq.exe"

Всего используется 6 параметров, имена параметров используются в логах, доступ к параметрам по номерам:




1ConnectionString

Строка соединения, вида



MS-SQL"Provider=SQLNCLI10.1;Persist Security Info=True;Initial Catalog=RK7xBASEUPGx20;Data Source=310-RK7-ALAN\SQLEXPRESS;User ID=SA;Password=SomeStrongPAssword" - Полная строка подключения ADO - Включает в себя имя пользователя и пароль. или dataBaseConnection , вида "ByHandle=2888" , где значением параметра ByHandle= является указатель открытого временного файла.
Временный файл создаётся с флагом FILE_FLAG_DELETE_ON_CLOSE, с bInheritHandle=true в структуре _SECURITY_ATTRIBUTES
PostgreSQL

DRIVER={PostgreSQL UNICODE};DATABASE=refbase;SERVER=localhost;PORT=5432;UID=postgres;MaxVarcharSize=2048

  • refbase - имя БД
  • postgres - имя пользователя PostgreSQL
  • SERVER=localhost;PORT=5432 - IP и порт сервера PostgreSQL

Для корректной работы нужен драйвер psqlodbc. Взять можно здесьhttps://ftp.postgresql.org/pub/odbc/versions/msi/psqlodbc_13_02_0000-x86.zip

2shiftsFileNameИмя файла выгружаемой смены (shift.udb) С полным путём, если это необходимо, имя выгружаемого файла. Пример приведен для сервера MS SQL.
С полным путём, если это необходимо 
или имя файла-источника данных shiftsDataFileName 
3dbExportConfigFileПолный путь к файлу описания структуры chckconv.xml. Данный файл с правилами преобразования данных, создается по умолчанию в папке /base/ (в случае использования сервера справочников для отчетов) после первой закачки смены с использованием утилиты (shift2sql.exe) или также LOGToSQL.xml в подпапке \base\refs2sql\
4parentProcIDToWait Идентификатор родительского процесса ОС. Это число. При смерти родительского процесса shift2sql.exe так же завершает свою работу. Не обязателен
5sqlDataLoadingMode

Режим загрузки данных в SQL , регулирует перезапись. Может иметь значение:

  • "dataover" (выгрузить весь файл, удалив имеющиеся в MS SQL данные)- Перезапись данных: данные во всех таблицах будут сперва удалены, а затем добавлены из указанного файла
  • "datasync" - сверяет ключи записей и штампы (RECSTAMP) и добавляет/удаляет/обновляет только то, что было изменено, synchronize
  • "schmover" - Создание структуры: все таблицы будут пересозданы, все данные будут удалены, schmmake
  • "dataload" или "load" - Добавление данных: данные добавляются к имеющимся в таблицах. Значения, пересекающиеся по ключам, будут обновлены.
  • "schmsync" - Создание структуры БД: существующие таблицы будут модифицированы (режим обновления накопительной БД. Опциональный - необязательный.
6LowLevelExe

Путь к утилите нижнего уровня, которая будет производить непосредственную выгрузку на sql-сервер. На текущий момент поддержаны два сервера:

  • sql\data2msq.exe - утилита нижнего уровня, занимающаяся выгрузкой в MS SQL;
  • sql\data2pgs.exe - утилита нижнего уровня, занимающаяся выгрузкой в PostgreSQL;


2.2.2. При желании можно включить логирование в файл, указав имя файла-лога в качестве места перенаправления вывода командной строки:
shift2sql.exe "ConnectionString" "shiftsFileName" "C:\SomePath\chckconv.xml" > logs.txt
 
2.3. Для пакетной обработки нескольких смен можно использовать bat-файл со следующим содержимым:

@echo start
 for %%i in (shift*.udb) do (
 	echo %%i 
	call "полный_путь_до_shift2sql.exe" "ConnectionString" "%%i" "полный_путь_до_chckconv.xml" >logs.txt 
)
 pause
TEXT

Bat-файл должен лежать в одной папке со сменами!