Скачать

Описание выпуска

Данный выпуск - пилотный, спонтанно записанный на конференции JokerConf в Санкт-Петербурге в ночь с 15 на 16 октября 2016 года :)

Участники

• Кирилл Толкачёв - https://twitter.com/tolkv
• Сергей Егоров - https://twitter.com/bsideup
• Алексей Абашев - https://twitter.com/a_abashev
• Глеб Смирнов - https://twitter.com/gvsmirnov
• Александр Тарасов - https://twitter.com/aatarasoff

Темы

В данном выпуске мы решили пройтись по теории - что такое DevOps, что заставляет нас задумываться о том, чтобы адаптировать DevOps подход у себя в компании.

Не обошли стороной и админов (aka "опсов") - нужны ли они, что они должны делать в современной DevOps команде. Какова их роль в "Облаках".

Так же мы затронули острую тему мониторинга и 24/7 - кто должен этим заниматься, как, возможно ли это автоматизировать.

Напоминаем, что Вы всегда можете обсудить данный выпуск в нашем Gitter канале: https://gitter.im/2d1o/Lobby

Благодарности

Мы хотели бы поблагодарить Виктора Гамова ( https://twitter.com/gAmUssA ) за предоставленное оборудование для записи.

А так же подкаст "Разбор Полётов" ( http://razbor-poletov.com ) за вдохновение :)

Скачать

Описание выпуска

Эпизод называется "Атака клонов и Шары Девопса". Почему так, спросите Вы? Потому что надо знать классику за последнее время развелось огромное множество разных, похожих друг на друга систем оркестрации, и сегодня мы поговорим именно про них. А шары... ну... услышите :D

Участники

• Кирилл @tolkv Толкачёв
• Сергей @bsideup Егоров
• Слава @php_coder Семушин из RedHat, работает над OpenShift
• Андрей @andrey_kurilin Курилин из OpenStack, Project Team Lead проекта Rally

Темы

• Оркестрация приложения. Виртуальных машин. Инфраструктуры. Где тут OpenStack и OpenShift? В чем разница? Немного о Mesos
• Как обстоят дела с постоянным хранилищем в эпоху контейнеров
• Что использовать? OpenStack? Kubernetes? AWS Services? Мозг?
• https://hyper.sh/
• Шары Девопса – как прошла конференция devops.by

Что мы вынесли из этого эпизода

• OpenShift – готовая сборка, интегрирующая всякие тулзы в одну коробку. Больше, чем в Kubernetes

  1. Решена проблема с корпоративными проксями

  2. Для персистенса тоже есть решения. RH вроде для этого прикрутил GlusterFS

     https://www.redhat.com/en/technologies/storage/gluster

  3. Динамическое создание Persistent Volume в OpenShift

     https://docs.openshift.org/latest/install_config/persistent_storage/storage_classes.html

  4. Руководство по установке OpenShift в on-premise от Виктора:

     https://github.com/vektory79/JenkinsArticles/blob/master/OpenShift/installAndTips.md

• OpenStack – по сути свой VPS

  1. поддержка Docker там есть, можно бутать контейнеры через драйвер Docker для OpenStack

  2. Проект Rally - бенчмарк провайдера виртуалок на OpenStack

     http://docs.openstack.org/developer/performance-docs/

  3. Быстрый старт

     http://docs.openstack.org/developer/devstack/

     http://docs.openstack.org/developer/fuel-docs/userdocs/fuel-install-guide.html

• Все развивается настолько быстро, что документация скорее всего будет не актуальна в нужный момент. Подписывайтесь на блоги/rss feeds/github watches

  http://blog.kubernetes.io/

  https://blog.openshift.com/

• Нет хороших конференций на эту тему на постсоветском пространстве!

Напоминаем, что Вы всегда можете обсудить данный выпуск в нашем Gitter канале: https://gitter.im/2d1o/Lobby

Благодарности

Спасибо нашим гостям за интересную информацию.

Так же спасибо Антону Архипову за микрофон :)

Скачать

Описание выпуска

Мы поговорили с Павлом (ну... точней, он поговорил, а мы послушали :D) про CRIU, Docker, Systemd.

Участники

• Кирилл @tolkv Толкачёв
• Сергей @bsideup Егоров
• Павел Mr. CRIU Емельянов

Темы

1. Кто такой Павел Емельянов
2. Чем Контейнеры Virtuozzo отличаются от того, чем все называют контейнеры?
   1. Компания Docker раньше называлась dotCloud
   2. Docker спонсировал исследования запуска приложения не в легкой виртуальной машине а в существующем окружении
   3. KVM запускает новое гостевое ядро. LXC – нет
   4. Либо безопасно, либо гибко. Docker - безопасно
3. Overprovisioning - как хостер продал памяти в 10 раз большем чем есть
4. Docker and CRIU
   1. CRIU это как сброс процесса в “корку”
   2. Интеграцию Docker и CRIU начали делать Google и TonicDev
   3. Миграция данных TCP стека вместе с контейнером
   4. Живая миграция – checkpoint/restore
   5. containerd всем!
   6. Дебажим продакшн локально
5. В Google своя балалайка и Docker параллельно, но вроде идут в Docker`изацию
6. LXD – настройка над LXC и конкурент containerd
7. Что там про контейниризацию в systemd? Расставляем точки над i
8. Open Containers Initiative
9. Docker Checkpoint/Restore
10. Systemd in Docker
11. DevOps Days конференция весной в Москве: https://www.devopsdays.org/events/2017-moscow/welcome
    1. Сергей выступает с докладом "DevOps инженеров не существует"
    2. Кирилл в программном комитете
    3. приём докладов ещё открыт

Что мы вынесли из этого эпизода

• Сергей в прошлой жизни был контейнером :D
• Docker 1.13:
  • Zombie free. А сейчас используйте tini или даже bash
  • Будет иметь лишь базовую Checkpoint/Restore с помощью CRIU
  • С помощью checkpoint/restore можно будет дебажить сохранённое приложение из прода позже локально!
• Google и RedHat не пилят свой Docker, а лишь делают фасад для разных реализаций контейнеров
• Systemd имеет встроенный DNS сервер, но он бажный и подвержен старым эксплойтам named
• на DevOps Days Moscow по-любому надо идти!

Напоминаем, что Вы всегда можете обсудить данный выпуск в нашем Gitter канале: https://gitter.im/2d1o/Lobby

Скачать

Описание выпуска

1 Января. Самое то, чтобы записать эпизод, не правда ли? Вот и мы так подумали и подвели итоги ушедшего 2016 года, что происходило в мире DevOps, какие тулзы появились или исчезли.

Участники

• Кирилл @tolkv Толкачёв
• Сергей @bsideup Егоров

Конференции

• http://devopsdays.org/events/2017-moscow/welcome/ DevOpsDays Moscow
• http://jugru.org/#schedule октябрь DevOps Conf от JUG.ru

Темы

• CI/CD

  • Jenkins 2.0
  • Всеобщая одержимость Pipeline-ами. Даже в bitbucket воткнули
  • Bamboo Cloud → BitBucket pipelines
  • TeamCity 10 и DSL-like описание джоб
  • Wercker стали использовать k8s как платформу
  • CircleCI 2.0 обзавёлся нативной поддержкой Docker-а
  • TravisCI научился делать CRON, пофиксил утечку секретов и перешёл на Google Cloud Engine (правда, не без инцидентов: 1, 2, 3)

• Оркестрация и деплоймент

  • Два основных игрока - Mesos и K8S, имхо k8s выигрывает. Тем не менее, есть Kubernetes on Mesos
  • Kubernetes научился работать с Windows Server, запускать Stateful приложения, выделил Container Runtime Interface, мульти-кластеры, легче ставить благодаря kubeadm, обзавёлся менеджером пакетов Helm и красивым дашбордом
  • Mesosphere получили инвестиций на 73млн $ от HP и Microsoft
  • DCOS (aka коробочный mesos) опенсорснули, при поддержке Microsoft
  • DCOS и Lightbend (бывший Typesafe) делают Fast Data Platform
  • Iron.io партнёрятся с DCOS
  • Containers 2.0
  • Deis переписали свой PaaS на k8s (раньше юзали fleet)
  • Немного сравнения и обсуждений Mesos vs Kubernetes
  • Hashicorp Otto всё
  • Nomad

• Облака

  • Появился [офигенный S3-like storage под названием Minio] (https://minio.io/)
  • AWS ECS + ALB

• Docker

  • Выпустили 3 мажорных релиза
  • 1.10:
    • новый пакет: docker-engine
    • убрали поддержку LXC
    • Куча улучшений безопасности
    • DNS discovery вместо /etc/hosts (интегрировали libnetwork)
    • новый формат хранения образов и слоёв (теперь ID образа соответствует тому, что внутри, как commit hash в Git). Пару раз было больно ( 1, 2 ), но в итоге все смигрировали
    • Docker Compose формат второй версии с сервисами, сетями и прочим
  • 1.11:
    • Распилили демон на docker, docker-containerd, docker-containerd-shim and docker-runc - по-моему первый релиз с OCI компонентами
    • DNS load balancing
    • Экспериментальная поддержка Docker-а не Windows
  • 1.12:
    • Swarm Mode - встроенная оркестрация
    • Показали Bundle-ы - что-то непонятное и неиспользуемое, возможно, поторопились
    • HEALTHCHECK в Dockerfile-ах
    • plugin management
    • userlang proxy теперь отдельный бинарь - все надежды на то, что её совсем выпилят
  • Начал переводить официальные образы на Alpine (разработчиков которого они и купили)
  • Купил Unikernel - разработчиков microkernels
  • Купил Infinit

Напоминаем, что Вы всегда можете обсудить данный выпуск в нашем Gitter канале: https://gitter.im/2d1o/Lobby

Скачать

Описание выпуска

Что за DevOps без автоматизации? А что за автоматизация без Jenkins? В этом выпуске мы пообщались с двумя известными людьми в русском Jenkins сообществе про Jenkins, как он дружит с Docker-ом, когда ждать следующих релизов и ещё много чего!

Участники

1. Кирилл @tolkv Толкачёв
2. Сергей @bsideup Егоров
3. Олег @oleg_nenashev Ненашев из CloudBees
4. Константин @kostyasha Шевцов из @WalmartLabs

Темы

1. Jenkins в реальном мире
   • Как устроено сообщество Jenkins на примере BlueOcean Plugin
   • Изменит ли BlueOcean ситуацию с интерфейсом Jenkins?
   • CPS – откуда ты такой?
   • Какой лучший Docker плагин для Jenkins
   • Стоит ли запукать Jenkins в docker?
   • Стоит ли вообще ждать HA для Jenkins
   • Pipeline разработка и дебаг
   • JNLP slaves vs SSH slaves
   • Jucies – "пиратский" апдейт центр для Jenkins
   • Изолированный класслоадер для плагинов. Как сломать один плагин другим или совместимость на уровне библиотек в Jenkins
   • Jenkins на Google Summer of Code
   • Когда ждать следующий мажорный релиз?
2. Docker Community Edition ?
   • переходят на новую схему версионирование год/месяц где есть приставочка -ce
3. Митапы и конференции

Вопросы

1. Насколько важен Pluggable Storage для Jenkins?
2. Есть ли смысл менять тревис на Jenkins? И если да то в чем?
3. Имее ли смысл заменить тревис на Jenkins и заставить его еще и на прод новосбилженное деплоить? И как? Puppet | docker-compose | какой-нибудь Kubernetes?

Выводы

• Процесс в Jenkins - "Базар", с своими плюсами и минусами
• Запускать агенты (бывш. "слейвы") Jenkins удобно. У Docker Plugin куча проблем, обратите внимание на Yet Another Docker Plugin
• Большие мастеры Jenkins плохо живут в Docker-е, особенно с сетевыми файловыми системами
• При возможности используйте JNLP агенты вместо SSH ради производительности
• Jenkins плохо масштабируется и на данный момент нет OpenSource возможности поднять кластер из Jenkins-а с несколькими мастерами и общим состоянием (active-active мастеры)
• Практически любой процесс разработки в Jenkins можно попытаться поменять путём поднятия вопроса на Governance митингах

Ссылки

• Веб-сайт Jenkins
• Канал Jenkins RU в Gitter
• Jenkins RU в Twitter
• Канал Jenkins RU на YouTube

Митапы и Конференции

1. Jenkins-митапы:
   • Санкт-Петербург
   • Москва
   • Беларусь
   • Онлайн-митап
   • В других странах
2. Ближайшие конференции:
   • Jenkins Automotive and Embedded Day в Штутгарте (5 апреля)
   • Jenkins Days в Гётебурге (30 мая) и Осло (1 июня)
   • Jenkins World (Сан-Франциско, август)

Напоминаем, что Вы всегда можете обсудить данный выпуск в нашем Gitter канале: https://gitter.im/2d1o/Lobby

Скачать

Описание выпуска

Мы побывали на DevOpsDays Moscow 2017 и опросили аж троих участников этого события, прямо во время конференции!

Участники

1. Кирилл @tolkv Толкачёв
2. Сергей @bsideup Егоров
3. Александр @osminog Титов из Express42
4. Михаил @mskuzmin Кузьмин из JetBrains
5. Александр @aatarasoff Тарасов из ok.ru

Темы

1. Александр Титов
   1. О конференции
   2. Что общего у разработки электроники и DevOps
   3. Как связаны DevOps и квадракоптеры
   4. У разработки ПО и электротехники гораздо больше общего чем кажется
2. Михаил Кузьмин
   1. Из аналитика в DevOps практика!
   2. Что есть DevOps и чем DevOps команды должны заниматься
   3. Terraform в JetBrains
   4. Как догфудят TeamCity в JetBrains
   5. Как тестируют IntelliJ IDEA
   6. Build as a Code в TeamCity
   7. Декларативные билды в TeamCity - хорошо это или не очень?
   8. Распределённые выполнения тестов в TeamCity на примере Badoo
   9. Автоскейлинг TeamCity агентов
3. Александр Тарасов
   1. Может ли DevOps... Надоесть?
   2. Есть ли DevOps в Одноклассниках
   3. Кроме Dev и Ops есть ещё и QA
   4. Свой ООП добрался до 2d1o!
   5. Новый способ Delivery от Кирилла - доставляем WAR-ники тележкой
   6. DevOps в банках
4. Александр Титов
   1. Впечатления от конференции
   2. Формирование DevOps сообщества
   3. Будущее русского DevOps движения

Выводы

1. DevOps-у в России - быть!
2. Иногда заниматься одним только DevOps процессом можно задолбаться :D
3. Даже в компаниях типа JetBrains можно найти много DevOps-а

Напоминаем, что Вы всегда можете обсудить данный выпуск в нашем Gitter канале: https://gitter.im/2d1o/Lobby

Скачать

Описание выпуска

К нам на огонёк заскочили ребята из Nginx Inc и рассказали чем живёт компания, как в ней работается. Оказалось, что помимо nginx`а у них есть ещё много интересного.

Участники

1. Кирилл @tolkv Толкачёв
2. Сергей @bsideup Егоров
3. Николай @shadrin Шадрин
4. Валентин @ngx_vbart Бартеньев

Темы

1. 00:00:00 Nginx – история создания от Валентина
   1. 00:00:00 О конференции
   2. 0:02:30 как попадают в nginx inc
   3. 0:03:25 170 человек работает в компании
2. 0:07:00 Nginx Стек
   1. 0:15:00 Nginx Unit vs X
   2. 0:17:00 Что отличает Nginx Unit от типичного Java EE Application Server ?
   3. 0:32:00 Архитектура Nginx Unit
3. 0:42:00 Nginx Unit и Базы данных
4. 0:49:00 Nginxmesh и причем тут Envoy/istio
5. 0:53:00 Почему Nginxmesh встраивается в Istio и что это вообще такое?
6. 0:54:00 Ingress для Kubernetes от команды Nginx
7. 0:57:00 Ищут крутейших Си разработчиков в Москве работать вместе с Игорем Сысоевым (https://www.nginx.com/jobs/cunix-developer/) :)
8. 1:00:00 Скриптинг в nginx и точки расширения
   1. 1:00:00 Nginx JavaScript Engine
   2. 1:02:00 Lua внутри Nginx. Чем плохо/Хорошо – взгляд разработчика
   3. 1:10:00 JavaScript добрался до Nginx – NJS
   4. 1:12:00 Не грешно ли конфигурировать Nginx через lua/javascript?
   5. 1:15:00 NodeJS и 30 000 000 потерянных редиректов
9. Примеры использования на грани, всякая дичь и советы
   1. 1:16:30 Nginx в роли forward proxy. 500 000 блоков server
   2. 1:18:00 CDN Netflix активно использует Nginx. 100Гбит/сек
      1. [Why netflix chose Nginx as the heart of its cdn] (https://www.nginx.com/blog/why-netflix-chose-nginx-as-the-heart-of-its-cdn/)
      2. Serving 100 Gbps from an Open Connect Appliance
   3. 1:23:00 Не тюнить то что не стоит тюнить – Pitfalls and Common Mistakes (https://www.nginx.com/resources/wiki/start/topics/tutorials/config_pitfalls/)
   4. 1:27:00 Доклад Масштабируемая конфигурация nginx от Игоря Сысоева
10. 1:32:00 Немного про конференциях и промокод на DevOops 2d1oPromo на 25%
11. 1:37:00 Nginx and microservices

Выводы

1. Nginx Inc – не маленькая организация
2. Ещё и растущая – Вакансия для хороших людей

Напоминаем, что Вы всегда можете обсудить данный выпуск в нашем Gitter канале: https://gitter.im/2d1o/Lobby

Скачать

Guests

1. Кирилл @tolkv Толкачёв
2. Сергей @bsideup Егоров
3. Олег @oleg_nenahsev Ненашев
4. Олег @olegchir Чирухин

Conferences

• Гейзенбаг 2017 Moscow
• HolyJS 2017 Moscow

Topics

1. Jenkins advanced configuration
   1. 00:40 Масштабирование Jenkins с точки зрения пользователя
   2. 01:40 Инициализация Jenkins с помощью Groovy и статической конфигурации – HOOKS.groovy
   3. 03:00 Настройка окружения (IDE) для тестирования Groovy Hooks (см Moscow Jenkins Meetup #3 )
   4. 03:38 Организатор конференций @olegchir (https://twitter.com/olegchir) предлагает переписать Jenkins :)
   5. 05:20 Deprecation Engine – ДеЖаВю. Что изменилось за последнее время
      1. 05:40 @oleg_nenahsev закинул 60 PR в Jenkins
      2. 05:50 Команда направляет Jenkins в сторону архитектурных изменений
   6. 06:30 Как запускают Jenkins пользователи CloudBees
   7. 07:30 Немного о том, что такое CloudBees Jenkins Team (by @oleg_nenahsev)
   8. 08:20 Направление Jenkins As A Service
      1. 08:40 Codevalet– SAAS на одном мастере утопия – но благо это и не нужно
      2. 09:25 Прототип “Jenkins как сервис” в Альфа-Лаборатории.
      3. 10:25 Миграция c Mesos на Kubernetes и Kubernetes On Mesos
2. 14:30 Kubernetes is everywhere. Amazon EKS
   1. Пока не доступно в Европе. Можно только оставить заявку
   2. Доступно в январе для тёплых уголков мира
3. 15:50 Cloud Foundry 2.0
   1. CF Functions
   2. HA For user interface
4. 17:05 zetcd (https://github.com/coreos/zetcd) - Serve zookeeper with etcd
   1. для тех у кого уже есть etcd, можно не ставить Zookeeper а обойтись прокси – zetcd
   2. 17:50 Etcd уже должен быть у кластера Kubernetes, кажется zetcd как никак кстати
   3. Zookeper – зависмость для кластера Kafka
5. 20:00 Kafka в Cбербанке
   1. 22:00 Одну систему поддерживать легче чем две. Фантазии про отказ от ZK для Kafka
   2. 23:00 Нагрузка на ZK от кластера kafka и offset топик
   3. 23:40 EKS → etcd → avoid ZK → use zetcd!
6. 24:20 Kafka 1.0.0 (https://kafka.apache.org/downloads)
   1. 24:30 Java 9 support
   2. 24:20 Слухи об отказе от Zookeeper и перехода на собственное решение
7. 25:00 Java 9
   1. 25:40 Class Load On start
   2. 25:50 Java 9 Fast Startup (https://mjg123.github.io/2017/10/02/JVM-startup.html)
   3. AOT
8. 26:30 Java 9 And Jenkins – testing
   1. 26:50 Всё интересно %_%
   2. 27:20 Maven Integration плагин вообще вряд ли когда то заработает на Java 9
   3. 28:00 Что ещё не работает у Jenkins в 9ке? Pipeline!
   4. 29:00 Pipeline это рядом с groovy, что там у Groovy с поддержкой 9ки?
      1. Groovy and Java 9
         1. Just start (in Groovy 3.0)
         2. Migrate to module
         3. Седрик про поддержку Java 9
   5. 30:20 У Jenkins Pipeline только компилятор от Groovy. Немного о том как Pipeline работает внутри на JUGru meetup (https://speakerdeck.com/onenashev/jug-dot-ru-groovy-dsl-v-jenkins-i-pipeline-riealizatsii-i-ghrabli-rus)
   6. 31:00 К чему этот истерический смех? Проблема с CPS скриптами, и почему Pipeline это не груви
   7. 32:00 CPS никогда не будет работать так же хорошо как Groovy, потому что интерпретатор..
   8. 32:20 Перепишем Pipeline. Branch → review → approve от Олега Ненашева :)
   9. 33:00 Governance проекты Jenkins
   10. 33:30 Тестирование Jenkins и комбинаторный взрыв фич
       1. Тестирование плагинов как юнитов – Jenkins Test Harness (https://github.com/jenkinsci/jenkins-test-harness/)
       2. Compatibility test – Plugin Compat Tester (https://github.com/jenkinsci/plugin-compat-tester)
       3. Acceptance Test Harness (https://github.com/jenkinsci/acceptance-test-harness/)
       4. 34:30 1000 и 1 фреймворк для тестирования и CloudBees Assurance Program
       5. Тестирования очень много, из за внушительного списка плагинов, которые нужно тестировать на разных ядрах (~100 штук)
       6. Хотят внедрять testcontainers (https://www.testcontainers.org/)
   11. Plugins Testing
9. 35:50 Testcontainers and Flyway (https://github.com/flyway/flyway/pull/1663)

Tools

1. Play With Docker (http://play-with-docker.com/)
2. Jenkins SAAS – https://codevalet.io/ by https://github.com/rtyler/
3. Материалы с Jenkins Meetups
   1. https://github.com/oleg-nenashev/demo-jenkins-config-as-code
   2. https://speakerdeck.com/onenashev/moscow-jenkins-meetup-number-3-upravliaiem-konfighuratsiiami-jenkins-groovy-khuki-i-configuration-as-code-plugin-1