Экспорт данных в БД MySQL
Добрый день,
Мне нужен функционал, аналогичный экспорту данных в Таблице Google, но с возможностью экспорта непосредственно в базу MySQL, которая расположена на веб-сервере.
Могли бы вы оценить объем работ по реализации этого решения? Сообщите, если необходимы дополнительные детали.
Жду вашей оценки.
Оригинальный вопрос доступен на версии: ua
Мне нужен функционал, аналогичный экспорту данных в Таблице Google, но с возможностью экспорта непосредственно в базу MySQL, которая расположена на веб-сервере.
Могли бы вы оценить объем работ по реализации этого решения? Сообщите, если необходимы дополнительные детали.
Жду вашей оценки.
Ответы:
Добрый день. Уточните пожалуйста, какие сущности Вы хотите экспортировать? Какую задачу Вы хотите выполнить после с этими данными?
03.02.2025, 13:05
Добрый день.
Экспортировать нужно данные о процессах, которые сейчас отправляются в Таблицы Google (скрин добавляется), а также информацию о контактах.
После экспорта данные будут использоваться для анализа в Metabase.
Сообщите, если нужны дополнительные детали.
Экспортировать нужно данные о процессах, которые сейчас отправляются в Таблицы Google (скрин добавляется), а также информацию о контактах.
После экспорта данные будут использоваться для анализа в Metabase.
Сообщите, если нужны дополнительные детали.
05.02.2025, 07:53
Оригинальный комментарий доступен на версии: ua
Можно сделать действие, похожее на Экспорт процессов в Google таблицы. Только дополнительно там будут настройки подключения к БД MySQL. Соответственно мы будем подключатся к БД и вставлять/обновлять там данные в указанной таблице. Уточните, Вы хотите продукты процесса выгружать в какую от отдельную таблицу или как вообще там хранить? Например в выгрузке в гугл таблицы есть варианты выгружать 1 строчку как продукт процесса или как процесс, но так как у нас будет БД появилась возможность продукты и их доп. поля выгружать в отдельную табличку, например.
05.02.2025, 12:42
Спасибо за уточнение.
Мне нужно, чтобы структура данных MySQL была удобной для анализа в Metabase. Правильно ли я понимаю, что можно создать отдельную таблицу для процессов, отдельную для продуктов процесса и отдельную таблицу по клиентам с дополнительными полями для всех таблиц? Если да, то этот вариант смотрится логичным.
Если есть рекомендации по структуре, которая будет более эффективна для дальнейшей работы с данными, буду рад их рассмотреть.
Мне нужно, чтобы структура данных MySQL была удобной для анализа в Metabase. Правильно ли я понимаю, что можно создать отдельную таблицу для процессов, отдельную для продуктов процесса и отдельную таблицу по клиентам с дополнительными полями для всех таблиц? Если да, то этот вариант смотрится логичным.
Если есть рекомендации по структуре, которая будет более эффективна для дальнейшей работы с данными, буду рад их рассмотреть.
07.02.2025, 07:40
Оригинальный комментарий доступен на версии: ua
Да, мы можем продукты процесса выгружать в отдельные таблички, процессы в отдельные и самих клиентов в отдельные связывая при этом все сущности по айдишкам. Я дам Вам возможность самостоятельно писать в какие таблицы и какие поля выгружать какие сущности в действии. Действие займет около 12ч. По итогу Вы сможете сделать "копию" данных бокса по заказам в нужной Вам базе для последующей аналитики этих данных.
Выставить счёт?
Выставить счёт?
07.02.2025, 12:49
Да, выставьте мне счет, пожалуйста.
В таблице ниже я указал какие данные мне нужны сейчас.
https://docs.google.com/spreadsheets/d/1wCfOhOBF3xQVeSiuHULz-l6qqb_JfU9fuK_n-w6R...
В таблице ниже я указал какие данные мне нужны сейчас.
https://docs.google.com/spreadsheets/d/1wCfOhOBF3xQVeSiuHULz-l6qqb_JfU9fuK_n-w6R...
09.02.2025, 23:12
Оригинальный комментарий доступен на версии: ua
У меня нет доступа к частным таблицам, сделайте её общедоступной
10.02.2025, 12:10
Расслоил ссылку. Посмотрите, пожалуйста.
Если это будет PostgreSQL вместо MySQL. Прайс будет такой же?
Если это будет PostgreSQL вместо MySQL. Прайс будет такой же?
10.02.2025, 21:00
Оригинальный комментарий доступен на версии: ua
1. Почему продукты в таблице Замовлення?
2. Что за таблица warehouse? В переводе это означает склады, но выше мы не обсуждали передачу никаких складских остатков или складов - я оценивал передачу только продуктов процесса, клиента и информации о процессе.
3. Если база будет PostgreSQL, оценка такая же при условии что будет только какая то одна БД. Т.е. за ту же оценку я не сделаю и mysql и postgre
2. Что за таблица warehouse? В переводе это означает склады, но выше мы не обсуждали передачу никаких складских остатков или складов - я оценивал передачу только продуктов процесса, клиента и информации о процессе.
3. Если база будет PostgreSQL, оценка такая же при условии что будет только какая то одна БД. Т.е. за ту же оценку я не сделаю и mysql и postgre
11.02.2025, 12:16
Сумма счета устраивает, но я не понимаю до конца что получу на выходе.
Могли бы Вы мне позвонить, чтобы мы бы быстро обсудили эти вопросы. Можем списаться в телеграмме и согласовать звонок.
База будет PostgreSQL. Домен и пользователя я предоставим.
Пока аналитика происходит как указано на скриншоте в приложении.
Могли бы Вы мне позвонить, чтобы мы бы быстро обсудили эти вопросы. Можем списаться в телеграмме и согласовать звонок.
База будет PostgreSQL. Домен и пользователя я предоставим.
Пока аналитика происходит как указано на скриншоте в приложении.
11.02.2025, 14:29
Оригинальный комментарий доступен на версии: ua
Гречуха Дмитро Сергійович писал/а:
Сума рахунку влаштовує, але я не розумію до кінця що отримаю на виході.
я доработаю действие, в нем будет:
1. Поля для ip и доступов в базу данных + название базы данных в которую необходимо выгружать информацию
2. Настройки с выбором в какую таблицу и какое поле в указанной базе писать информацию о заказе, продуктах заказа, клиента
3. Выбор статусов, в которых выгружать процессы.
После настройки действие будет запускаться раз в час и выгружать процессы в выбранных БП в стороннюю базу данных в указанные в настройках поля. Таким образом Вы получите "копию" указанных данных (о заказе, клиенте, продуктах заказа) в сторонней базе данных.
Если что то из вышеописанного непонятно, Вы можете уточнить это здесь в текстовом режиме.
11.02.2025, 15:11
Спасибо за ответ.
Счет я оплатил.
Из того, что написано выше, вроде бы все подходит. Единственное, что непонятно как я буду связывать данные разных табличек? Будет ли такая возможность?
Счет я оплатил.
Из того, что написано выше, вроде бы все подходит. Единственное, что непонятно как я буду связывать данные разных табличек? Будет ли такая возможность?
14.02.2025, 13:23
Оригинальный комментарий доступен на версии: ua
Гречуха Дмитро Сергійович писал/а:
Єдине, що не зрозуміло як я буду пов'язувати дані різних табличок? Чи буде така можливість?
у нас есть свои идентификаторы заказов, клиентов. Соответственно Вы в нужных табличках делаете колонки например oneboxid и мы в заказе наш id вставляем в этот oneboxid и потом при следующем обновлении ищем по нему же эту запись. Такая же ситуация с продуктами процессов например - там будут колонки oneboxorderid oneboxproductid и я свой id продукта запишу в oneboxproductid а id заказа в oneboxorderid. Соответственно по этим же своим id после смогу обновлять записи.
14.02.2025, 13:28
в какую колонку вставлять наш идентификатор заказа, продукта, клиента естетственно будет в виде настройки.
14.02.2025, 13:29
Спасибо за ответ. Теперь вроде бы все понятно.
Подтверждаю техническое задание.
Когда можно ожидать выполнения?
Подтверждаю техническое задание.
Когда можно ожидать выполнения?
14.02.2025, 13:40
Оригинальный комментарий доступен на версии: ua
Я думаю будет в течении нескольких недель. Я напишу в этой теме, когда все будет готово
14.02.2025, 13:41
Добрый день. Доработка выгружена. Действие раз в час "Экспортировать процессы в базу данных PostgreSQL". Если что то будет непонятно по настройкам - пишите, помогу в рамках данной задачи.
19.02.2025, 14:21
Добрый день,
попытался настроить наработку. Данные не выгружаются.
Проверьте, пожалуйста. https://ceylon.crm-onebox.com/
Прошу также сообщить, нужно ли создавать таблицы и структуру таблиц для корректной выгрузки?
попытался настроить наработку. Данные не выгружаются.
Проверьте, пожалуйста. https://ceylon.crm-onebox.com/
Прошу также сообщить, нужно ли создавать таблицы и структуру таблиц для корректной выгрузки?
28.02.2025, 11:48
Оригинальный комментарий доступен на версии: ua
Да, необходимо чтобы ВСЕ поля которые Вы указываете в "Поле в базе данных" и все таблицы которые указываете были созданы. Т.е. действие не обновляет структуру вашей БД
05.03.2025, 12:10
Сделал, но не экспортирует.
Вы можете проверить настройки?
Вы можете проверить настройки?
05.03.2025, 16:03
Оригинальный комментарий доступен на версии: ua
1. У id каждой таблицы не нужно ставить "Обновлять значение". Это уникальный идентификтор, он не будет менятся и его не нужно обновлять
2. "Настройка выгрузки информации о продуктах процесса в отдельные таблицы". Есть понятие продукт а есть продукт процесса. Может быть продукт с ид=10 и названием "Петрушка". Он может быть добавлен в заказ с id=15 два раза. Соответственно у вас должна быть табличка orderproducts с полями orderproductid orderid productid count чтобы можно было по одному заказу вставить 2 записи с разными orderproductid (продукт же может быть в заказ дважды добавить).
3. id процесса выгружаете зачем то в два разных поля.
По остальному вроде окей, действие запустил - работает и что то выгружает явно
2. "Настройка выгрузки информации о продуктах процесса в отдельные таблицы". Есть понятие продукт а есть продукт процесса. Может быть продукт с ид=10 и названием "Петрушка". Он может быть добавлен в заказ с id=15 два раза. Соответственно у вас должна быть табличка orderproducts с полями orderproductid orderid productid count чтобы можно было по одному заказу вставить 2 записи с разными orderproductid (продукт же может быть в заказ дважды добавить).
3. id процесса выгружаете зачем то в два разных поля.
По остальному вроде окей, действие запустил - работает и что то выгружает явно
05.03.2025, 16:30
Не знаю, что поступаю не так, но таблицы остаются без данных.
05.03.2025, 17:30
Оригинальный комментарий доступен на версии: ua
Давайте начнем с выгрузки данных в одну таблицу, к примеру, customers.
В этой таблице созданы все сущности, указанные в действии "Экспортировать процессы...": customerid, name, email, phone, created_at.
Следует проверить, что данные успешно выгружаются. Пока таблица customers без данных.
В этой таблице созданы все сущности, указанные в действии "Экспортировать процессы...": customerid, name, email, phone, created_at.
Следует проверить, что данные успешно выгружаются. Пока таблица customers без данных.
05.03.2025, 23:31
Оригинальный комментарий доступен на версии: ua
insert into processes ("process_id") values ('10467')
[message:protected] => ERROR: null value in column "client_id" of relation "processes" violates not-null constraint
DETAIL: Failing row contains (10467, 2025-03-06 10:10:05.1457, null, 0, 0, null, null).
Вероятно Вы сделали в БД типы обязательные к заполнению, соответственно я не могу вставить заказ без client_id в данный момент. Без создания заказа не создастся и клиент.
Пожалуйста УБЕРИТЕ из таблиц заказа или юзеров колонки которые не хотите использовать или настройте действие чтобы они заполнялись. После этого НЕ МЕНЯЙТЕ настройки действия и я посмотрю что там будет дальше.
[message:protected] => ERROR: null value in column "client_id" of relation "processes" violates not-null constraint
DETAIL: Failing row contains (10467, 2025-03-06 10:10:05.1457, null, 0, 0, null, null).
Вероятно Вы сделали в БД типы обязательные к заполнению, соответственно я не могу вставить заказ без client_id в данный момент. Без создания заказа не создастся и клиент.
Пожалуйста УБЕРИТЕ из таблиц заказа или юзеров колонки которые не хотите использовать или настройте действие чтобы они заполнялись. После этого НЕ МЕНЯЙТЕ настройки действия и я посмотрю что там будет дальше.
06.03.2025, 12:12
В таблицу processes начали заполняться process_id и salesdate, остальные колонки пустые.
Мне нужны данные для формирования Таблицы 1, которая прилагается (дата заказа, id клиента, id заказа, артикул продукта, цена за единицу, количество, сумма заказа).
Прошу помочь с этим.
Мне нужны данные для формирования Таблицы 1, которая прилагается (дата заказа, id клиента, id заказа, артикул продукта, цена за единицу, количество, сумма заказа).
Прошу помочь с этим.
06.03.2025, 18:04
Оригинальный комментарий доступен на версии: ua
column "LTV" of relation "processes" does not exist
название колонки нужно было указать маленькими буквами.
ERROR: column "articul" of relation "processes" does not exist
название колонки указано неправильно
update customers set "name"='Антон', "email"='xxxx@gmail.com', "phone"='380972xxxxxx', "created_at"='2024-07-25 20:54:06' where customerid='2374'
[message:protected] => ERROR: value "380972774040" is out of range for type integer
у Вас колонка phone integer у юзера, но номер телефона выходит за рамки допустимого в int , сделайте или bigint или текст.
название колонки нужно было указать маленькими буквами.
ERROR: column "articul" of relation "processes" does not exist
название колонки указано неправильно
update customers set "name"='Антон', "email"='xxxx@gmail.com', "phone"='380972xxxxxx', "created_at"='2024-07-25 20:54:06' where customerid='2374'
[message:protected] => ERROR: value "380972774040" is out of range for type integer
у Вас колонка phone integer у юзера, но номер телефона выходит за рамки допустимого в int , сделайте или bigint или текст.
07.03.2025, 11:20
первые две ошибки в Ваших настройках я исправил, третью исправьте сами - я не трогаю структуру БД.
07.03.2025, 11:21
Спасибо за вашу помощь, все выгружается корректно! С этим можно работать.
У меня еще несколько уточнений:
1. Правильно ли я понимаю, что поле чекбокс "обновлять значение", если не отмечено, позволяет выгружать только новые данные, ранее не выгружаемые?
2. Формула для выгрузки продуктов процесса используется для выгрузки артикулов в колонку "Информация о продуктах процесса". Могу ли я аналогично дополнительно выгружать другие данные в соответствующие поля (например [currency] в колонку currency)? Какой синтаксис для этого предусмотрен?
Буду благодарен за ваш ответ!
У меня еще несколько уточнений:
1. Правильно ли я понимаю, что поле чекбокс "обновлять значение", если не отмечено, позволяет выгружать только новые данные, ранее не выгружаемые?
2. Формула для выгрузки продуктов процесса используется для выгрузки артикулов в колонку "Информация о продуктах процесса". Могу ли я аналогично дополнительно выгружать другие данные в соответствующие поля (например [currency] в колонку currency)? Какой синтаксис для этого предусмотрен?
Буду благодарен за ваш ответ!
07.03.2025, 12:54
Оригинальный комментарий доступен на версии: ua
1. Если галочка не включена то поле будет передано только при создании записи и не будет обновлятся. Если будет включена - то будет обновлятся при каждом запуске действия.
2. Вы можете по-разному выгружать продукты процесса, ниже опишу два варианта:
Вводные данные: в процессе есть 3 товара: мыло, шампунь и гель.
а) Указать настройку с формулой и выбрать чтобы продукты процесса выгружались в таблицу продуктов. Тогда при указании формулы в таблице заказа будет в выбранном поле значение:
Мыло 1шт, сумма Хгрн
Шампуть 1шт, сумма Хгрн
б) выгружать продукты процесса в ОТДЕЛЬНУЮ табличку, снизу в дейтвии для этого есть возможность. В таком варианте количество продукта, сумма цена и валюту можно выгружать в отдельные поля. Для валюты в данном случае это поле currencyid - это id валюты в боксе. В вашем боксе у гривны id=1, т.е. в колонке currencyid будет 1 для продукта процесса.
Можно комбинировать оба варианта и выгружать продукты процесса и туда и туда
2. Вы можете по-разному выгружать продукты процесса, ниже опишу два варианта:
Вводные данные: в процессе есть 3 товара: мыло, шампунь и гель.
а) Указать настройку с формулой и выбрать чтобы продукты процесса выгружались в таблицу продуктов. Тогда при указании формулы в таблице заказа будет в выбранном поле значение:
Мыло 1шт, сумма Хгрн
Шампуть 1шт, сумма Хгрн
б) выгружать продукты процесса в ОТДЕЛЬНУЮ табличку, снизу в дейтвии для этого есть возможность. В таком варианте количество продукта, сумма цена и валюту можно выгружать в отдельные поля. Для валюты в данном случае это поле currencyid - это id валюты в боксе. В вашем боксе у гривны id=1, т.е. в колонке currencyid будет 1 для продукта процесса.
Можно комбинировать оба варианта и выгружать продукты процесса и туда и туда
07.03.2025, 13:27
Спасибо за ответ.
Закрываем этот тред.
Закрываем этот тред.
07.03.2025, 16:16
Оригинальный комментарий доступен на версии: ua
После работы с данными появились следующие вопросы:
1. Прошу предоставить логи ошибок, возникших при загрузке данных.
2. Также я хотел бы уточнить: правильно ли я понимаю, что параметр realprice (поле продукта процесса) – это цена продукта, указанная в процессе?
3. Как выбрать статью продукта процесса?
Спасибо!
1. Прошу предоставить логи ошибок, возникших при загрузке данных.
2. Также я хотел бы уточнить: правильно ли я понимаю, что параметр realprice (поле продукта процесса) – это цена продукта, указанная в процессе?
3. Как выбрать статью продукта процесса?
Спасибо!
08.03.2025, 21:37
Оригинальный комментарий доступен на версии: ua
1. Такого нет
2. Вам нужно выбрать поле "Цена продукта процесса с учетом скидки"
3. Такого поля нет. Артикул есть у самого продукта, у продукта процесса его нет.
2. Вам нужно выбрать поле "Цена продукта процесса с учетом скидки"
3. Такого поля нет. Артикул есть у самого продукта, у продукта процесса его нет.
10.03.2025, 11:14
Пожалуйста, присоединяйтесь к диалогу. Если вам есть что сказать - пожалуйста, напишите комментарий. Для входа потребуется мобильный телефон и смс-код для идентификации.
Войти и написать комментарий
Copyright © OneBox 2025
