Некоректна робота хвилиного крону
При постійному моніторингу крона видно, що замість 1-2 хвилин він відпрацьовує один раз: від 30хв до 3 годин.
У відповідь на наше звернення прийшло, що хвилинний крон так відпрацьовує через "Стандартну процедуру Перерахунок цін" і щоб це виправити потрібно заплатити.
Не логічно платити за те, що входить в стандартний функціонал.
Більш детально https://box.webproduction.ua/admin/customorder/issue/2015732582/edit/ та https://ekomora.ua/admin/customorder/support/96870/edit/
macik9157@gmail.com
У відповідь на наше звернення прийшло, що хвилинний крон так відпрацьовує через "Стандартну процедуру Перерахунок цін" і щоб це виправити потрібно заплатити.
Не логічно платити за те, що входить в стандартний функціонал.
Більш детально https://box.webproduction.ua/admin/customorder/issue/2015732582/edit/ та https://ekomora.ua/admin/customorder/support/96870/edit/
Ответы:
Вы можете сократить колличество товаров для которых выполняете пересчет цен и тогда проблема уйдет.
Либо же доработать то что было передложено ранее
Либо же доработать то что было передложено ранее
16.02.2021, 15:35
Поясніть, як саме можна скоротити кількість товару?
Як ми розуміємо, Вами було запропоновано виправити даний баг Вашої системи за наший рахунок, але при тому Ви не надаєте гарантій, що навіть, якщо ми погодимось оплатити, даний баг буде виправлений і така ситуація не повториться.
Як ми розуміємо, Вами було запропоновано виправити даний баг Вашої системи за наший рахунок, але при тому Ви не надаєте гарантій, що навіть, якщо ми погодимось оплатити, даний баг буде виправлений і така ситуація не повториться.
16.02.2021, 16:26
macik9157@gmail.com
Чірков Максим
Тзов Екомора писал/а:
Поясніть, як саме можна скоротити кількість товару?
Як ми розуміємо, Вами було запропоновано виправити даний баг Вашої системи за наший рахунок, але при тому Ви не надаєте гарантій, що навіть, якщо ми погодимось оплатити, даний баг буде виправлений і така ситуація не повториться.
Я вам даю решения по проблемам которые вижу на данный момент , сейчас вынастроили 40 действий автоматизации для товара которые нагружают обновления товара , а вините в этом систему...
Для примера опишу на более понятной формулировке (вы же не приходите в автосалон и не говорите менеджеру который продал вам машину - "Я нагрузил в багажник 3 тонны а она не едет, исправьте почему она не едет" ).
16.02.2021, 16:39
Які норми навантаження Вашого програмного забезпечення? І чому Ви вважаєте, що ми перевантажили "багажник", який має об'єм і передбачений для певного вантажу?
16.02.2021, 17:12
macik9157@gmail.com
Чірков Максим
Тзов Екомора писал/а:
Які норми навантаження Вашого програмного забезпечення? І чому Ви вважаєте, що ми перевантажили "багажник", який має об'єм і передбачений для певного вантажу?
нормы у каждого разные , в зависимости от многого колличества факторов.
Если мы хотим решить вашу проблему , давайте идти поэтапно а не обсуждать нагрузку .
Если отключить пересчет цен - минутный крон работает быстро?
16.02.2021, 17:15
Вкажіть нам норми для нашого проекту, згідно з тим, що ми замовляли. Нам потрібно не точкове виправлення проблеми, а глобальне. А також хочемо Вам сказати, що автомобіль, який ми у Вас придбали - це спец-техніка, яка мала б везти 100 тонн, а на даний момент і 30 кг. не везе.
16.02.2021, 18:19
macik9157@gmail.com
Чірков Максим
Тзов Екомора писал/а:
Вкажіть нам норми для нашого проекту, згідно з тим, що ми замовляли. Нам потрібно не точкове виправлення проблеми, а глобальне. А також хочемо Вам сказати, що автомобіль, який ми у Вас придбали - це спец-техніка, яка мала б везти 100 тонн, а на даний момент і 30 кг. не везе.
Максим вы продолжаете заводить тему не в то русло , я пытаюсь вам помочь а вы все о своем . Если ваша цель просто поговорить о том какие все вокруг уроды и не могут настроить вам систему чтобы за 1 минуту пересчитывало наличие у 400000 товаров пересчитывало им цену делало 100500 загрузок и при этом без остановки грузило поставщиков - то давайте закроем эту тему сразу.
На сколько я знаю вы согласовали перейти на отдельный магазин и оставить админку, мы не развиваем и не поддерживаем магазины , если его отключить вы повезете свои 300 тонн как и хотели , а пока вы его не отключаете давайте решать проблему а не тратить время на высказывания
16.02.2021, 21:51
Максим,
OneBox любой версии с 2017года https://crm-onebox.com/ru/version/ может спокойно хранить и выдавать 10М+ товаров, 100K+ категорий, 10M+ контактов. ХРАНИТЬ и ВЫДАВАТЬ по запросам, а не обрабатывать в реальном времени.
Может ли OneBox хранить миллионы контактов и товаров? Конечно да, и выдавать их по get by id, get by code он их будет быстро.
Но пересчет цен - это не то же самое.
Аналогия: вы купили спецтехнику, которая может тянуть 100 тонн. Но вы же не говорите ей "ану пересчитай мне за 1 минуту все 100 тонн щебня и скажи сколько их штук и какого размера камушки". Это не тоже самое. Это другая задача.
Теперь конкретно по вашей ситуации:
Напишите здесь за какое время вы хотите чтобы выполнялся пересчет цен по текущей вашей базе товаров, а мы с Игорем предложим вам варианты решения.
Мы ожидаем услышать от вас что-то типа "у нас сейчас 10 млн товаров, 5000 поставщиков, нам нужно чтобы в реальном времени были актуальные цены на товары". А мы предложим как сделать условно realtime-пересчет цен.
Вероятно, штатный функционал "пересчета цен" не самым лучшим образом подходит для вашей задачи.
Спасибо.
(пожалуйста, не ссылайтесь на старые общения по закрытым ссылкам, потому что они велись с компанией-интегратором ШеБо, на которую у меня 0 влияния)
OneBox любой версии с 2017года https://crm-onebox.com/ru/version/ может спокойно хранить и выдавать 10М+ товаров, 100K+ категорий, 10M+ контактов. ХРАНИТЬ и ВЫДАВАТЬ по запросам, а не обрабатывать в реальном времени.
Может ли OneBox хранить миллионы контактов и товаров? Конечно да, и выдавать их по get by id, get by code он их будет быстро.
Но пересчет цен - это не то же самое.
Аналогия: вы купили спецтехнику, которая может тянуть 100 тонн. Но вы же не говорите ей "ану пересчитай мне за 1 минуту все 100 тонн щебня и скажи сколько их штук и какого размера камушки". Это не тоже самое. Это другая задача.
Теперь конкретно по вашей ситуации:
Напишите здесь за какое время вы хотите чтобы выполнялся пересчет цен по текущей вашей базе товаров, а мы с Игорем предложим вам варианты решения.
Мы ожидаем услышать от вас что-то типа "у нас сейчас 10 млн товаров, 5000 поставщиков, нам нужно чтобы в реальном времени были актуальные цены на товары". А мы предложим как сделать условно realtime-пересчет цен.
Вероятно, штатный функционал "пересчета цен" не самым лучшим образом подходит для вашей задачи.
Спасибо.
(пожалуйста, не ссылайтесь на старые общения по закрытым ссылкам, потому что они велись с компанией-интегратором ШеБо, на которую у меня 0 влияния)
16.02.2021, 23:16
Как со мной связаться - никак :)Задавайте вопросы на форуме публично - и я отвечу.
Подробнее - https://1b.app/ru/user/11/
Максим, відносно 100 тонн, то Чірков Максим применшив, беручи до уваги придбані нами ліцензії.
Ще на початку нашої співпраці вами було продано нам безліміт невиключних ліцензій і коли ми просили прописати кількість невиключних ліцензій 1 млрд, ваша команда сказала, що можете прописати хоч 10 мільярдів, що і було прописано в договорі. Відповідно, якщо брати за алегорію машину, про яку було вище обумовлено, то щебень має перераховувати в долі секунди. На даний момент ту потужність, яку обіцяли нам, навіть на 0,00001 % не використовується.
Проте, вважаю, що досить вести дискусії, які ні до чого не приводять. Нам цікаво завершити проект і отримати результат нашої співпраці.
Напишіть нам реальні кроки та варіанти вирішення проблеми і ми будемо тоді вирішувати, чи нам так підходить.
І просимо не перекладати відповідальність на окремих інтеграторів, з якими у нас немає договорів, у нас є договір з Вами, ТОВ "Вебпродакшн" і ми довірили наший проект Вам, а не якимось там інтеграторам, яких ви міняєте під час проекту, як шкарпетки.
Дякую!
Ще на початку нашої співпраці вами було продано нам безліміт невиключних ліцензій і коли ми просили прописати кількість невиключних ліцензій 1 млрд, ваша команда сказала, що можете прописати хоч 10 мільярдів, що і було прописано в договорі. Відповідно, якщо брати за алегорію машину, про яку було вище обумовлено, то щебень має перераховувати в долі секунди. На даний момент ту потужність, яку обіцяли нам, навіть на 0,00001 % не використовується.
Проте, вважаю, що досить вести дискусії, які ні до чого не приводять. Нам цікаво завершити проект і отримати результат нашої співпраці.
Напишіть нам реальні кроки та варіанти вирішення проблеми і ми будемо тоді вирішувати, чи нам так підходить.
І просимо не перекладати відповідальність на окремих інтеграторів, з якими у нас немає договорів, у нас є договір з Вами, ТОВ "Вебпродакшн" і ми довірили наший проект Вам, а не якимось там інтеграторам, яких ви міняєте під час проекту, як шкарпетки.
Дякую!
17.02.2021, 18:45
Ярослав, Максим, вы бегаете по кругу. Постарайтесь понять мой вопрос.
Вам нужно чтобы текущий функционал пересчета цен работал быстрее (на сколько-то)
ИЛИ чтобы у вас в реальном времени были актуальные цены и наличия по товарам
ИЛИ чтобы именно часовой крон работал быстро?
Какая конечная цель?
Если цель чтобы "минутный крон работал быстро" - то наше решение будет перенести пересчет цен в отдельный крон, который будет тупить, а минутный крон будет работать быстро.
Если конечная цель "получить в реальном времени актуальные цены и наличия" - то так и скажите, и мы придумаем как вообще отказаться от "пересчета цен по крону".
Какую задачу решаем?
---
Про объемы данных и скорость обработки.
Объясняю техническим языком насколько смогу:
если ваша база данных 100 Gb, а теоретическая скорость SSD-диска 0.6 GB/sec на чтение и запись (в обе стороны), а максимальная скорость обсчета в оперативной памяти 3 GB/sec (быстрее оперативы не бывает),
то максимальная теоретическая скорость просто копирования базы - 166 x 2 = 332 секунды. Это просто копирование. Если надо прочитать, обсчитать, записать обратно (применительно к пересчету цен) - примерно 1600 секунд (27 минут). И не важно, в один поток вы это делаете или в несколько, оператива и диск быстрее не станут.
Это физическое ограничение одного сервера, электроны быстрее не бегают.
Поэтому, чем больше объем данных на одном сервере - тем медленнее будет происходить их обработка.
Поэтому, если вы хотите чтобы OneBox быстро обрабатывал много-много-много товаров - вам нужно развернуть его на НЕСКОЛЬКИХ СЕРВЕРАХ. Количество серверов и механизм разворачивания зависит то того, какой объем данных надо обрабатывать ПРЯМО СЕЙЧАС (не в теории в будущем, а сейчас). Например, вы говорите нужно чтобы прямо сейчас для 10 млн товаров в реальном времени были актуальные цены и наличие, допустимая задержка актуальности данных 5 секунд. И мы для этого вам ответим что-то типа "5 физических серверов, на каждом по 8 потоков/4 ядра и 32 гб оперативы, все в сети 1 gb uplink, настройка инфраструктуры займет 2-3 недели".
Простыми словами, ускорение обработки данных достигается исключительно "параллельностью обработки данных" на физически разных машинах, а не магическими улучшениями софта. Я не говорю что OneBox прям идеально идеально обрабатывает все данные, но объективно просто допиливаниями софта мы сможем увеличить скорость +20%, а вам надо в 20 раз.
Я в курсе, что вам про это никто не говорил во время продажи, и я не могу это исправить задним чистом.
Все что я могу - это предложить вам правильную инфаструктуру в зависимости от ваших потребностей на сейчас.
Вам нужно чтобы текущий функционал пересчета цен работал быстрее (на сколько-то)
ИЛИ чтобы у вас в реальном времени были актуальные цены и наличия по товарам
ИЛИ чтобы именно часовой крон работал быстро?
Какая конечная цель?
Если цель чтобы "минутный крон работал быстро" - то наше решение будет перенести пересчет цен в отдельный крон, который будет тупить, а минутный крон будет работать быстро.
Если конечная цель "получить в реальном времени актуальные цены и наличия" - то так и скажите, и мы придумаем как вообще отказаться от "пересчета цен по крону".
Какую задачу решаем?
---
Про объемы данных и скорость обработки.
Объясняю техническим языком насколько смогу:
если ваша база данных 100 Gb, а теоретическая скорость SSD-диска 0.6 GB/sec на чтение и запись (в обе стороны), а максимальная скорость обсчета в оперативной памяти 3 GB/sec (быстрее оперативы не бывает),
то максимальная теоретическая скорость просто копирования базы - 166 x 2 = 332 секунды. Это просто копирование. Если надо прочитать, обсчитать, записать обратно (применительно к пересчету цен) - примерно 1600 секунд (27 минут). И не важно, в один поток вы это делаете или в несколько, оператива и диск быстрее не станут.
Это физическое ограничение одного сервера, электроны быстрее не бегают.
Поэтому, чем больше объем данных на одном сервере - тем медленнее будет происходить их обработка.
Поэтому, если вы хотите чтобы OneBox быстро обрабатывал много-много-много товаров - вам нужно развернуть его на НЕСКОЛЬКИХ СЕРВЕРАХ. Количество серверов и механизм разворачивания зависит то того, какой объем данных надо обрабатывать ПРЯМО СЕЙЧАС (не в теории в будущем, а сейчас). Например, вы говорите нужно чтобы прямо сейчас для 10 млн товаров в реальном времени были актуальные цены и наличие, допустимая задержка актуальности данных 5 секунд. И мы для этого вам ответим что-то типа "5 физических серверов, на каждом по 8 потоков/4 ядра и 32 гб оперативы, все в сети 1 gb uplink, настройка инфраструктуры займет 2-3 недели".
Простыми словами, ускорение обработки данных достигается исключительно "параллельностью обработки данных" на физически разных машинах, а не магическими улучшениями софта. Я не говорю что OneBox прям идеально идеально обрабатывает все данные, но объективно просто допиливаниями софта мы сможем увеличить скорость +20%, а вам надо в 20 раз.
Я в курсе, что вам про это никто не говорил во время продажи, и я не могу это исправить задним чистом.
Все что я могу - это предложить вам правильную инфаструктуру в зависимости от ваших потребностей на сейчас.
18.02.2021, 00:00
Как со мной связаться - никак :)Задавайте вопросы на форуме публично - и я отвечу.
Подробнее - https://1b.app/ru/user/11/
Miroshnichenko Maxim писал/а:
Ярослав, Максим, вы бегаете по кругу. Постарайтесь понять мой вопрос.
Я правильно понимаю что по сути здесь обсуждается проблема процессора "ShopSupplier_Processor_Avail " ?
Ранее уже обсуждали в нескольких темах https://crm-onebox.com/ru/support/?q=ShopSupplier_Processor_Avail+
Если да, то вы не думали что возможно стоит переделать логику ?
Суть в том что выходить сейчас система лопатить все продукты которые есть в системе и у которых стоит галочка синхронизации, но если разобраться то по факту в конкретную минуту крона (когда отрабатывает ShopSupplier_Processor_Avail) нужно по сути обработать 1% от всех продуктом (это цифры на базе моего проекта) то есть у меня 10 000 товаров, хотя реально в минуту отгрузки идут по 1-10 товаров и вот их и нужно обработать, но система вместо обработки 1-10 товаров в минуту лопатит все что есть (то есть делает "мартышкин труд") потому что логика процессора максимально простая берем тупо все товары и лопатим (метод простой, но надежный, так как ничего не потеряем).
Но если сделать логику более сложную, что бы система обрабатывала только нужные товары, а не все, то возможно и не нужно было бы больших ресурсов системы
16.07.2021, 18:58
В OneBox OS уже сделано, на realtime, без кронов.
https://crm-onebox.com/ru/app/productmargin/
https://crm-onebox.com/ru/app/productmargin/
16.07.2021, 21:20
Как со мной связаться - никак :)Задавайте вопросы на форуме публично - и я отвечу.
Подробнее - https://1b.app/ru/user/11/
Miroshnichenko Maxim писал/а:
В OneBox OS уже сделано, на realtime, без кронов.
https://crm-onebox.com/ru/app/productmargin/
С ответа непонятно:
1. Вы согласны что "лопатить" все не совсем правильно (логично) ?
2. Вы переделали в ОС что система лопатит не все, а только то что изменилось?
3. Почему вы не сделали так что если товаров много то что бы система разбивала на пачки и отрабатывала одну пачку раз в минуту, по такой логике Ви в других разделах делали (просто тут теряется вся суть минутного крона, это как назвать велосипед суперкаром, то есть по логике должен отрабатывать за минуту, а в реальности работает 5-30 минут)?
4. Для загрузки поставщиков вы сделали отдельный крон, потому что понимали масштаб проблемы, почему для пересчёта наличия вы не сделали отдельный крон, вы же наверное понимали с технической стороны что даже при наличии 10 000 у клиента, система не будет успевать отрабатывать за минуту и в результате все будет тормозить (интеграции, заказы, финансы и т.д.)?
5. Вы можете убрать лимит в 2 сообщения в сутки (я даже ответить не могу на ваши комментарии, так как по сути выходит 1 сообщение)?
17.07.2021, 19:08
1. да
2. да
3-4-5. без комментариев
2. да
3-4-5. без комментариев
17.07.2021, 20:13
Как со мной связаться - никак :)Задавайте вопросы на форуме публично - и я отвечу.
Подробнее - https://1b.app/ru/user/11/
2. Вы можете переделать и в MVP (если разобраться это же выходит логический баг, то есть идеолог процессора допустил ошибку при разработке) ?
3-4. Я хочу разобраться с логикой и помочь другим клиентам её понять, пожалуйста дайте хоть какой то комментарий, что бы с него можно было понять вы признаете что это логическая ошибка (не продумали функционал - не учли нагрузки) или же я и другие пользователи чего-то недопонимаем
5. В чем сложность увеличить лимит до 5-10 комментарием в сутки (я хотя-бы смог нормально отвечать на ваши ответы, а том приходиться ждать сутки что бы ответить вам) ?
6. Выходит вы мне уменьшили лимит комментариев до 1 комментария в сутки (оставил комментарий здесь https://crm-onebox.com/ru/support/price-platforms-and-marketplaces/9475-minutniy... и больше не смог отписаться в этой задаче, пришлось ждать, хотя предпоследний комментарий был здесь https://crm-onebox.com/ru/support/finances/9035-monobank---integratsiya-vipiski-... ) ?
3-4. Я хочу разобраться с логикой и помочь другим клиентам её понять, пожалуйста дайте хоть какой то комментарий, что бы с него можно было понять вы признаете что это логическая ошибка (не продумали функционал - не учли нагрузки) или же я и другие пользователи чего-то недопонимаем
5. В чем сложность увеличить лимит до 5-10 комментарием в сутки (я хотя-бы смог нормально отвечать на ваши ответы, а том приходиться ждать сутки что бы ответить вам) ?
6. Выходит вы мне уменьшили лимит комментариев до 1 комментария в сутки (оставил комментарий здесь https://crm-onebox.com/ru/support/price-platforms-and-marketplaces/9475-minutniy... и больше не смог отписаться в этой задаче, пришлось ждать, хотя предпоследний комментарий был здесь https://crm-onebox.com/ru/support/finances/9035-monobank---integratsiya-vipiski-... ) ?
23.07.2021, 12:51
2. Нет. Я уже говорил вот в этом видео https://www.youtube.com/watch?v=oAJxxHXbjgA что все что сделано в OS - в старые продукты не переносится.
3-4. Без комментариев.
5-6. Потому что любой ответ на твой вопрос порождает еще 2-3 новых встречных вопроса.
Потому что контент, который ты генерируешь больше похож на попытки найти кто прав, а кто виноват.
Потому что такой контент НЕ привлекает новых пользователей, поэтому он (контент) тут не нужен.
Потому что я и Игорь Устименко вправе решать с кем мы будем общаться, а с кем нет (свобода воли, конституция, такие дела).
PS: Если хочешь кому-то помочь и у тебя в этом действительно есть внутренняя потребность - вот чат Легезы - https://t.me/icoloronebox - там сотня человек, которые ждут любой помощи и общения.
3-4. Без комментариев.
5-6. Потому что любой ответ на твой вопрос порождает еще 2-3 новых встречных вопроса.
Потому что контент, который ты генерируешь больше похож на попытки найти кто прав, а кто виноват.
Потому что такой контент НЕ привлекает новых пользователей, поэтому он (контент) тут не нужен.
Потому что я и Игорь Устименко вправе решать с кем мы будем общаться, а с кем нет (свобода воли, конституция, такие дела).
PS: Если хочешь кому-то помочь и у тебя в этом действительно есть внутренняя потребность - вот чат Легезы - https://t.me/icoloronebox - там сотня человек, которые ждут любой помощи и общения.
23.07.2021, 21:59
Как со мной связаться - никак :)Задавайте вопросы на форуме публично - и я отвечу.
Подробнее - https://1b.app/ru/user/11/
Пожалуйста, присоединяйтесь к диалогу. Если вам есть что сказать - пожалуйста, напишите комментарий. Для входа потребуется мобильный телефон и смс-код для идентификации.
Войти и написать комментарий
Copyright © OneBox 2024
