Fix/ci cache #319

alexey-pronkin · 2021-12-08T04:49:44Z

Я все-таки вижу так, что нужно создавать requirements.yml для анаконды (сделано, но не протестировано в create-requirements.yml) и в деплое использовать ее. Единственное, что пока не сделал, это нужно create-requirements.yml перенести в экшены и добавить в деплое проверку, поменялся ли poetry.lock и pyproject.toml, если поменялись, то запускать этот экшен.

Не тестировал, не работал с gh-actions, так что если кто-то может помочь, было бы неплохо.
Вот тут дока, как делать кэш для миниконды https://github.com/marketplace/actions/setup-miniconda#caching

Критически важно ставить poetry из анакоды, типа conda install poetry, тогда не нужны все эти экшены, которые не очень понятно, как работают, изначально poetry будет ставить все в активированный environment, а эти пакеты будут при conda export идти как будто они из PYPI установлены.

SemyonSinchenko · 2021-12-08T05:38:46Z

.github/workflows/create-requirements.yml

+      # todo: replace with a more sane solution
+      - name: install tensorflow_quantum # https://www.tensorflow.org/quantum/install
+        run: |
+          poetry run pip install --upgrade pip


Может сразу попробуем затащить tfq в poetry?

Да это тоже самое будет, что и это. Можно попробовать, конечно.

Нет, в том то и фишка, что это будет на 2-3 минуты быстрее. Сейчас он сначала долго ставит зависимости из поетри, а потом долго ставит их еще раз при установке tfq. Там прямо в логах видно, как он удаляет одни версии и скачивает + ставит другие.

Это один раз делается для создания requirements.yml, вообще возможно там ничего не соберётся и придется вручную править зависимости 😔

SemyonSinchenko · 2021-12-08T05:39:41Z

.github/workflows/new-deploy-book.yml

+            label: linux-64
+            prefix: /usr/share/miniconda3/envs/qmlcourse.ai
+
+          # - os: macos-latest


Надо это удалить.

Это нельзя удалять, с помощью этого префикса сделано кэширование у них:-(
Пока не уверен, что будет работать матрица без хотя бы второго значения

Я про то, что удалить тестирование сборки для других осей

Пока не узнаю, что можно задать матрицу из одного элемента удалять нельзя, просто придется иначе колхозить как-то отключение сборки для других платформ внутри кода, типа if вставить лишний.

как-то можно сделать по подобию этого или как тут

SemyonSinchenko · 2021-12-08T05:41:01Z

.github/workflows/new-deploy-book.yml

+        id: mamba-cache
+
+      - name: export some tokens
+        env:


Задание этого env надо перенести в сборку книги, а сам шаг удалить.

SemyonSinchenko · 2021-12-08T05:41:27Z

.github/workflows/new-deploy-book.yml

+          github_token: ${{ secrets.GITHUB_TOKEN }}
+          publish_dir: ./qmlcourseRU
+
+#       - name: Build PDF file


Пока удалить

Да починим pdf совсем скоро, если все собирается

Его нет смысла чинить в текущем виде. Надо собирать только через ковертацию в LaTeX, а там сразу будут проблемы (как минимум, с 99% вероятностью не будет русского языка из коробки и т.д.)

SemyonSinchenko · 2021-12-08T05:41:41Z

.github/workflows/new-deploy-book.yml

+#           poetry run jupyter-book build ./qmlcourseRU --builder pdfhtml
+#           mv ./qmlcourseRU/_build/pdf/book.pdf ./qmlcourseRU/_build/pdf/all_book.pdf
+
+#       - name: Deploy only pdf files


Покаудалить

vvssttkk · 2021-12-08T07:17:55Z

.github/actions/create-requirements.yml

@@ -0,0 +1,43 @@
+name: create-requirements


а как этот файл будет запускаться автоматом? и он вроде как дубль что в workflows

Я так понимаю, что это правильный путь как надо сделать, и во все воркфлоу добавить if про то, что если *.lock или *.toml изменён, то запустить этот экшен. Я посмотрю как в докер билдах делают, там такая же проблема

почему «изменен»? нужно чтобы выполнялось только если оно зелёное

про дубль этого файл в этом pr так и не понял

@vtrokhymenko один в actions, совсем правильно будет сделать через него, то есть вставить if файлы с библиотеками поменялись, тогда запустить сначала этот action. Второй файл в workflows нужен чтобы просто пока тестировать, но в целом и с его помощью можно тоже сделать, типа придется добавить тайм-аут и такое решение не очень.
Сам пока не разобрался как это делается правильно, но тут https://github.community/t/is-it-possible-to-run-the-job-only-when-a-specific-file-changes/115484 есть разные варианты

а как именно и часто будет запускаться файл что в actions? и ты уверен что он там будет так работать, а то по твоей ссылки сходу не нашел что именно в той директории оно должно быть

vvssttkk · 2021-12-08T07:19:16Z

.github/workflows/new-deploy-book.yml

@@ -0,0 +1,100 @@
+name: new-deploy-book


зачем new? просто заменяем сразу. это же касается и new-deploy-branch

добавить зависимость что это этот файл должен запускаться при условии успешного create-requirements. ну или оттуда сюда всунуть отдельным шагом

Ещё не оттестировано, заренеймить не долго, мы же потом мерджим сквошем, будет как будто изначально меняли те файлы.

почему, ты ведь создал новый файл?

Потому что сквош переписывает историю. Если будет нужно, я сделаю rebase и все будет как будто мы изначально их правили, если потребуется тестирование в мастере, я так понял, в ветках actions не подтягиваются?

ты меня уже запутал этими файлами и не понятными дублями
итого, не нужно ничего дублировать

SemyonSinchenko · 2021-12-08T08:41:23Z

Я вот смотрю на это все и думаю - а может перепишем все на ansible? И запускать будем через Ansible Actions. Плюсы:

импорт плэйбуков вместо двух почти одинаковых deploy-book и deploy-branch
нормальный плэйбук по генерации index.html и scp в AWS вместо Py-костыля
меньше левого кода (левых экшнов) в пользу своих плэйбуков, которые проще поддерживать

Я ansible хорошо знаю и он гораздо гибче, чем GH Actions кмк

vvssttkk · 2021-12-08T10:02:18Z

в ansible ноль с большой дыркой

vvssttkk · 2022-02-20T16:29:16Z

@alexey-pronkin собираешь подступаться всё же?

alexey-pronkin · 2022-06-12T03:58:14Z

Это можно закрывать, так как деплой чутка изменился, нужно с нуля переделывать. Плюс время прошло, может уже тех проблем с совместимостью нет

vvssttkk · 2022-06-12T07:25:04Z

cache уже работает, после того как убрал condа

alexey-pronkin added 2 commits December 8, 2021 07:11

create action that create requirements.yml artifact

08fe29e

draft of new deploy files

c891b27

SemyonSinchenko reviewed Dec 8, 2021

View reviewed changes

vvssttkk reviewed Dec 8, 2021

View reviewed changes

vvssttkk linked an issue Dec 8, 2021 that may be closed by this pull request

настроить cache в ci для зависимостей #297

Closed

vvssttkk assigned alexey-pronkin Dec 13, 2021

vvssttkk added the ci/cd label Feb 20, 2022

vvssttkk closed this Jun 12, 2022

vvssttkk deleted the fix/ci-cache branch June 12, 2022 21:03

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Fix/ci cache #319

Fix/ci cache #319

alexey-pronkin commented Dec 8, 2021

SemyonSinchenko Dec 8, 2021

alexey-pronkin Dec 8, 2021

SemyonSinchenko Dec 8, 2021

alexey-pronkin Dec 8, 2021 •

edited

Loading

SemyonSinchenko Dec 8, 2021

alexey-pronkin Dec 8, 2021 •

edited

Loading

SemyonSinchenko Dec 8, 2021

alexey-pronkin Dec 8, 2021

vvssttkk Dec 8, 2021 •

edited

Loading

SemyonSinchenko Dec 8, 2021

SemyonSinchenko Dec 8, 2021

alexey-pronkin Dec 8, 2021

SemyonSinchenko Dec 8, 2021

SemyonSinchenko Dec 8, 2021

vvssttkk Dec 8, 2021

alexey-pronkin Dec 8, 2021

vvssttkk Dec 8, 2021

vvssttkk Dec 8, 2021

alexey-pronkin Dec 8, 2021

vvssttkk Dec 9, 2021

vvssttkk Dec 8, 2021

vvssttkk Dec 8, 2021

alexey-pronkin Dec 8, 2021 •

edited

Loading

vvssttkk Dec 8, 2021

alexey-pronkin Dec 8, 2021

vvssttkk Dec 8, 2021

SemyonSinchenko commented Dec 8, 2021

vvssttkk commented Dec 8, 2021

vvssttkk commented Feb 20, 2022

alexey-pronkin commented Jun 12, 2022

vvssttkk commented Jun 12, 2022

Fix/ci cache #319

Fix/ci cache #319

Conversation

alexey-pronkin commented Dec 8, 2021

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

alexey-pronkin Dec 8, 2021 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

alexey-pronkin Dec 8, 2021 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

vvssttkk Dec 8, 2021 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

alexey-pronkin Dec 8, 2021 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

SemyonSinchenko commented Dec 8, 2021

vvssttkk commented Dec 8, 2021

vvssttkk commented Feb 20, 2022

alexey-pronkin commented Jun 12, 2022

vvssttkk commented Jun 12, 2022

alexey-pronkin Dec 8, 2021 •

edited

Loading

alexey-pronkin Dec 8, 2021 •

edited

Loading

vvssttkk Dec 8, 2021 •

edited

Loading

alexey-pronkin Dec 8, 2021 •

edited

Loading