1b.app
Скопійоване посилання -

Ненормальна затримка з парсером листів

Ось завдання https://baza.cn.ua/admin/customorder/issue/32236/edit/
Яка створена на базі події https://baza.cn.ua/admin/issue/addmail/?eventid=41356
Завдання створене для тесту
Так ось проблема в тому, що листа було відправлено о 14:26.
А реально (подія + завдання) створилися о 14:41 тобто різниця 15 (яка магічна цифра 60/4)
При цьому в момент тестування спостерігали всі кроні, вони відпрацьовували швидко і правильно.
Тобто cron-minute відпрацьовував за хвилину і cron-imap також відпрацьовував раз на хвилину (або раз на 30 секунд точно не знаю, але швидко)
Загалом чому відбувається така затримка в 15 хвилин при тому, що всі крони працюють?
Оригінальне питання доступне на версії: ru

Відповіді:

Добрий день. Подібну інформацію ми можемо надати лише при переході на хмарний режим. Другий варіант на платній основі ми можемо проаналізувати крони на вашому сервері та з'ясувати та можливо усунути причини затримок. Це займе близько 4 год. доопрацювання. Виставляти рахунок?
04.01.2021, 14:55
Оригінальний коментар доступний на версії: ru

Куприян Владислав Валерьевич
Baza.cn.ua / Integrator (FOP Kupriyan)
1. А причому тут крони, я начебто зрозуміло описав що з кронами проблем немає, вони працюють нормально?
2. Мені здається це якийсь баг, якщо ж це не баг і нормальна робота системи то поясніть як працює механізм парсингу листів і чому можуть бути такі великі затримки?
3. Який у вас (на хмарному тарифі) нормальний період часу від влучення листа в пошту та до створення події у боксі?
4. З якою періодичністю спрацьовує cron-imap?
5. Якщо якісь налаштування що б керувати його (cron-imap) періодичністю (раніше писали що адміни десь роблять налаштування на сервері по запуску парсера?).
04.01.2021, 15:03
Оригінальний коментар доступний на версії: ru


Купріян Владислав Валерійович написав:
тобто різниця 15 (яка магічна цифра 60/4)

Все простіше - ящики на основі @gmail.com ширяться раз на 15 хвилин.
Це пов'язано з тим, що сам Google може блокувати підключення якщо пошта парситься частіше ніж в 10 хвилин за протоколом IMAP - ось власне і коштує парсинг раз на 15 хвилин.
Керувати цим – не можна. Хіба що доопрацьовувати.
04.01.2021, 15:25
Оригінальний коментар доступний на версії: ru

У них прямо так і написано дослівно у разі помилки підключення:

Перевірте, чи не надто часто поштова програма перевіряє пошту. Якщо це відбувається частіше ніж раз на 10 хвилин, ваш додаток може бути заблокований.
04.01.2021, 15:27
Оригінальний коментар доступний на версії: ru

Куприян Владислав Валерьевич
Baza.cn.ua / Integrator (FOP Kupriyan)

Тиндик Максим Вадимович
Адміністратор писав/ла:
У них прямо так і написано дослівно у разі помилки підключення:

Перевірте, чи не надто часто поштова програма перевіряє пошту. Якщо це відбувається частіше ніж раз на 10 хвилин, ваш додаток може бути заблокований.


А є якісь більш офіційні джерела цієї інформації, тобто деякі рекомендації щодо "парсингу пошти"
Просто цю інформацію знайшов тут https://support.google.com/mail/answer/7126229?hl=ua
Але вона по суті стосується блокування облікового запису, це не зовсім рекомендації.
Просто як то складно повірити, що може бути повноцінна робота, якщо парсити раз на 15 хвилин.
Як то не віриться, що може бути повноцінне спілкування, тому що виходить відповідь можна отримати по суті через 15 хвилин
04.01.2021, 15:47
Оригінальний коментар доступний на версії: ru


Купріян Владислав Валерійович написав:
А є якісь більш офіційні джерела цієї інформації, тобто деякі рекомендації щодо "парсингу пошти"
Просто цю інформацію знайшов тут https://support.google.com/mail/answer/7126229?hl=ua

Якщо для вас безпосередньо Google (як розробник Gmail) не є офіційним джерелом – про адекватне спілкування далі не може бути й мови. У зв'язку з цим – це мій останній коментар у цій темі.

Купріян Владислав Валерійович написав:
Але вона по суті стосується блокування облікового запису, це не зовсім рекомендації.

Якщо написано, що може бути блокування при підключенні частіше ніж раз на 10 хвилин - що може статися в такому випадку? Можливо блокування? Питання риторичне.

Купріян Владислав Валерійович написав:
Просто якось складно повірити що може бути повноцінна робота якщо парсити раз на 15 хвилин.
Як то не віриться, що може бути повноцінне спілкування, тому що виходить відповідь можна отримати по суті через 15 хвилин

Не хочете – не вірте. Це ваше право.
Зміна даної логіки – 2 години доопрацювання. Наслідки у вигляді наступного блокування – зона вашої відповідальності.
04.01.2021, 16:00
Оригінальний коментар доступний на версії: ru

Будь ласка, приєднуйтесь до діалогу. Якщо вам є що сказати – будь ласка, напишіть коментар. Для входу потрібний мобільний телефон та смс-код для ідентифікації. Увійти та написати коментар