Будни программиста

Harvard Research: ЗАМЕНА всего лишь ОДНОГО слова значительно повышает вашу способность убеждать других людей

noreply@blogger.com (Андрей Бороздин) — Sun, 30 Jul 2023 10:37:00 +0000

Исследование Гарвардской бизнес-школы показало, что замена одного слова на другое может кардинально поменять характер разговора и его результат.

Друзья, хочу предложить вам мой перевод интересной статьи с онлайн журнала Inc.

Некоторые собеседники очень харизматичны. Они влияют, в хорошем смысле, на людей вокруг себя. Они заставляют людей чувствовать себя частью чего-то большего, чем они сами. Один из примеров - Стив Джобс и его “поле искажения реальности”, термин, используемый для описания его способности заставлять людей вокруг него верить, что, казалось бы, невозможные задачи на самом деле достижимы. Поскольку никто никогда не достигает ничего значительного в одиночку, харизматичные люди, как правило, более успешны -они получают согласие, одобрение и помощь от других людей не через манипуляции или давление, а описывая логику и выгоды от идеи. А так же используя слово “совет” вместо “мнение”.

Как говорит Роберт Чалдини, автор бестселлера “Психология влияния"

Нас обычно просят высказать свое мнение. “Можете ли вы сказать, что вы думаете ..”. Это ошибка. Когда вы просите мнение, вы получаете критику. Исследования показывают, что вместо того, чтобы просить мнение или отзыв лучше попросить совет. Когда вы просите чей-то совет, ваш собеседник будет не только более благосклонен к вашей идее, вам так же дадут лучшие и более конструктивные идеи. Потому что, тот кого вы попросите совета, скорее всего захочет, чтобы вы были успешны.

Другие исследования подтверждают этот вывод. Исследователи Гарвардской бизнес-школы провели серию экспериментов и обнаружили, что люди, которых просили дать совет, предлагали на 34% больше направлений для улучшений и на 56% больше идей по сравнению с людьми, которых просили высказать свое мнение. Почему так? Как говорит Чалдини, когда вы просите совет, другой человек “делает полшага к вам. Он становится вашим партнером, он проникается вашей идей, чтобы найти лучший способ понять эту идею. И теперь это вы и этот человек против всех остальных”. Теперь это вы и Стив Джобс против остального мира.

Прежде чем просить чье-то мнение, поставьте себя на место вашего собеседника. В последний раз, когда кто-то просил ваше мнение, вы, вероятно, чувствовали себя некомфортно и сделали мысленно полшага назад.

Мнения — это оценки, и никому не нравится оценивать. Особенно если оценка скорее негативная. Вспомните последний раз, когда кто-то просил вас дать совет. Это было приятно, лестно. Вас бы не просили, если бы не считали умным, мудрым или более опытным. Чувство уважения, доверия и ценности, вероятно, заставило вас сделать мысленно полшага вперед.

Короче говоря, просьба о мнении заставляет других людей чувствовать себя некомфортно. Просьба о совете заставляет других людей чувствовать себя хорошо. Поэтому перестаньте просить мнения и начните просить советы.

В лучшем случае вам очень захотят помочь. Вам точно дадут лучшие предложения и идеи. Как бы ни было, человек которого вы попросите совета, будет чувствовать к себе уважение, доверие, что его ценят. В любом случае, ваш собеседник психологически выиграет. И вы тоже.

Проблема с CloudFront и решение с Bing AI/Chat: мой опыт

noreply@blogger.com (Андрей Бороздин) — Sat, 22 Jul 2023 16:26:00 +0000

Хочу поделиться с вами историей о том, как совсем недавно чат-бот на основе GPT-4, а именно Bing AI/Chat, помог мне быстро понять в чем проблема на продакшен-деплойменте и оперативно ее исправить.

Это была довольно необычная и сложная проблема, с которой я раньше не сталкивался. Но благодаря Bing AI/Chat я смог найти решение всего за 30 минут! Да, за 30 минут! 😎

В этой статье я расскажу вам, как все начиналось, как я искал решение, как Bing AI/Chat мне помог и какие выводы я сделал из этого опыта. Надеюсь, что эта история будет интересна и полезна широкому кругу читателей.

Houston, we have a problem

Все начиналось довольно буднично. Мне нужно было сконфигурировать новое доменное имя для сайта, который уже был в продакшене, но еще не имел красивого доменного имени.

Стек технологий у нас следующий:
• Сайт задеплоен в AWS
• Сайт разработан на React, NextJS, NodeJS

Процедура конфигурации домена достаточно типовая. У нас есть пошаговая инструкция и специальный сервис, который помогает в деплойменте. Этот сервис для продакшен-деплойментов создает AWS CloudFront и затем с его помощью назначает доменное имя.

Мы все сделали довольно быстро, за 30 минут. Но когда мы попробовали открыть сайт на новом домене, мы обнаружили странную и крайне неприятную проблему.

Если я в браузере вводил домен сайта (например, andybor.blogspot.com), то сайт не открывался. Как показали дев-тулы браузера, сайт в таком случае шлет постоянно редирект с кодом 308. Что еще более интересно, если открыть тот же самый сайт, но уже с каким-то путем, например, andybor.blogspot.com/a, то сайт открывался без каких-то проблем.

Это было очень необычное поведение, с которым мы раньше не встречались. И статус код 308 для редиректа я тоже как-то раньше не встречал (все больше 301 или 302).
Бесполезно и говорить 😅 , что локально мы не смогли повторить эту проблему. Идей, что и где поломалось не было от слова совсем.

Поиск решения

Первое, что мы сделали - это поискали в Google. Но это заставило загрустить еще больше. На Stack Overflow нашлась проблема по 308 редиректу, где это было вызвано конфигом для NextJs. Но это был не наш случай.

Тут я вспомнил о Bing AI/Chat. Я недавно записывал видео про этот чат-бот, который умеет помогать в решении разных задач. Я решил попробовать, сможет ли он как-то помочь мне.

К сожалению, у меня не осталось переписки с чат-ботом, поэтому я на словах опишу, как он помог мне понять в чем была проблема и как ее устранить.

Решение проблемы с помощью Bing AI/Chat

Я описал ему в целом проблему. Bing AI тоже поначалу предположил, что это проблема с конфигом для NextJs. Я ему написал, что это не проблема конфига для NextJs, и показал ответ, который возвращал веб-сайт.

Bing AI обратил внимание, что в респонсе используется хидер Refresh = “/”, который, по мнению Bing AI, и приводил к бесконечным редиректам со статусом 308. Это было уже что-то.

Далее я спросил у Bing AI, какой сервис или библиотека в моей конфигурации могла добавлять к респонсу этот хидер. Bing AI написал мне, что так может вести себя AWS CloudFront, если у него значение для параметра для Default root object не совпадает с аналогичным параметром в Origin.

Я проверил параметры CloudFront и Origin для CloudFront. Бинго! Bing AI/Chat оказался на 100% прав. Я обновил значения для Default root object в CloudFront, чтобы оно совпадало с Origin, и сайт наш заработал на новом домене как положено.

На все-про все у меня ушло около 30 минут. 30 минут, Карл! Да, я эту статью уже пишу дольше.

Выводы

Bing AI/Chat - это очень полезный и мощный инструмент для программистов и оперейшен-команд. Он может помочь в решении самых разных задач, как связанных с кодом так и с конфигурацией, деплойментом и т.д.

Надеюсь, что эта статья была интересна и полезна для вас. Если вы хотите узнать больше о Bing AI/Chat, то предлагаю посмотреть мое видео на YouTube канале.

Как составить отличное резюме с помощью нейросетей и чат-ботов

noreply@blogger.com (Андрей Бороздин) — Thu, 22 Jun 2023 10:02:00 +0000

Вам нелегко дается составление резюме, а может делаете это в первый раз и не знаете с чего начать? Тогда я советую вам воспользоваться помощью бесплатных нейросетей и чат-ботов. В этой статье я расскажу, как при помощи нейросети Microsoft Bing AI и чат-бота Bing Chat, который во многом похож на популярный ChatGPT, написать отличное резюме и, возможно, получить работу своей мечты.

Когда дело доходит до поиска работы, самый первый шаг — это хорошо написанное резюме. Конечно, даже самое распрекрасное резюме не гарантирует что вы получите работу мечты, но без резюме (или если оно будет плохим) вас просто не пригласят на собеседование или интервью.

Не у всех есть время или опыт чтобы написать хорошее резюме, которое заинтересует потенциальных работодателей, особенно когда на каждую вакансию есть десятки кандидатов. Именно здесь может быть очень кстати помощь от нейросетей и чат-ботов вроде ChatGPT, Microsoft Bing AI (Bing Chat), Google Bard. Популярные чат-боты достаточно продвинуты, чтобы помочь вам быстро создать весьма убедительное резюме.

Согласно недавним исследованиям журнала Forbes и опросу агентства ResumeBuilder.com 70% кандидатов, которые использовали помощь ChatGPT при составлении резюме получили больше положительных отзывов на их резюме, а 78% - приглашение на интервью. Это действительно очень высокие показатели.

В этой статье я дам пошаговое руководство, как написать отличное резюме с помощью Bing AI и Bing Chat и некоторые другие полезные советы по ходу дела.

Как пишутся резюме с помощью ChatGPT и похожих чат-ботов

Искусственный интеллект, лежащий в основе чат-ботов вроде ChatGPT, является исключительно мощным, эффективным и универсальным инструментом. Поэтому, если вы зададите чат-боту правильные вопросы и предоставите необходимую информацию, то чат-бот может генерировать для вас самый разнообразный контент, писать достаточно сложные текст и даже составлять электронные письма. Этот эффективный инструмент может быть не только чрезвычайно полезен для вашей текущей работы, но также может помочь вам получить новую работу.

Важно отметить, что при создании резюме чат-бот не пишет ваше резюме с нуля. Как правило, он не сможет самостоятельно найти всю необходимую информацию о вас в Интернете и составить хорошее резюме. Однако он может его составить на основе информации о вакансии и вашем опыте, которую вы предоставите ему сами.

В каких-то случаях чат-боты как ChatGPT, Bing Chat и Google Bard будут предлагать вам вместо написания самого резюме советы как написать хорошее резюме. Но если вы знаете правильные запросы для чат-бота, то сможете получить от него пример хорошего резюме для интересующей вас вакансии. Уверен, что с примерами из этой статьи вы легко сможете это сделать.

Пример резюме от Bing Chat для конкретной вакансии

Все эксперты по кадрам скажут вам, что вы должны иметь резюме, адаптированное к конкретной вакансии, на которую вы подаетесь. Если вы хотите, чтобы вас рассматривали как серьезного кандидата, то вам нужно убедиться, что ваше резюме демонстрирует квалификацию и опыт, которые требует интересующая вас вакансия.

Поэтому если у вас нет готового резюме, для интересующей вас вакансии, чат-бот может помочь вам составить нужное резюме. Он может посмотреть на текст вакансии, проанализировать его и сгенерировать пример хорошего резюме для вакансии, который вы далее можете использовать как образец.

В качестве примера я попросил Bing Chat создать резюме на основе объявления о работе для опытного разработчика на C++. Следуйте моему примеру:

Откройте чат-бот Bing Chat по адресу https://bing.com/new. Подробнее о чат-боте и о его возможностях можно узнать в моем видео. Для некоторых стран может понадобиться VPN. Мои рекомендации по хорошим VPN можно посмотреть в этом видео.
Спросите у чат-бота «Можешь помочь мне составить резюме для определенной вакансии?»
После ответа чат-бота скопируйте ему описание вакансии.
Bing Chat напишет вам довольно подробный план как составить резюме, может написать пример сопроводительного письма к резюме.

Вы так же можете попросить чат-бота добавить в образец резюме вашу персональную информацию, которая описывает ваш опыт и связана с данной вакансией.

Конструктор резюме на основе чат-бота может быть далек от совершенства. В некоторых случаях первый ответ чат-бота может быть далеко не самым лучшим или, например, чат-бот может вам дать только советы, но не написать образец резюме. В таком случае попросите его написать вам резюме по советам, которые он дал вот таким запросом «Напиши образец такого резюме». Если вариант вам не понравился, то попросите его написать еще вариант запросом «напиши еще вариант резюме» или попробуйте весть процесс с начала. В отличие от традиционных конструкторов резюме, каждый раз, на одних и тех же данных чат-бот будет генерировать вам новые результаты.

Попросите нейросеть улучшить ваше резюме

Еще одно применение Bing AI — это улучшение вашего существующего резюме. Например, нейросеть может переписать ваше резюме, чтобы оно лучше подходило для интересующей вас вакансии. Это особенно полезно, если вы отправляли свое резюме и ничего не получили в ответ. Делается это так:

Напишите Bing AI «Можешь улучшить мое резюме?»
Скопируйте и вставьте текст вашего резюме. Чтобы получить лучший результат, не забудьте написать Bing AI на какую вакансию вы подаетесь.

Всегда важно перечитывать что вам генерирует чат-бот чтобы быть уверенным, что тот пример резюме, который сгенерировал чат-бот, соответствуют вашим потребностям и содержит всю необходимую информацию.

Иногда ИИ может добавить какую-то информацию, чтобы украсить ваше резюме или добавить квалификацию, которой у вас нет. Будьте осторожны с этим, так как иначе вы рискуете дать ложное представление о себе своим будущим работодателям и это все равно вскроется на собеседовании.

Подсказки и советы по резюме от Bing AI

С этими двумя примерами вы можете достаточно быстро создать резюме, если у вас его нет, или улучшить то, что у вас уже есть. Однако у меня есть еще несколько запросов к чат-боту, которые вы можете попробовать. Возможно, они смогут помочь вам в поиске работы.

Можешь ли ты предложить какие-нибудь другие разделы, которые я мог бы добавить в свое резюме, чтобы подчеркнуть свои навыки и опыт?
Можешь ли ты включить количественные показатели, чтобы выделить успехи проектов и достижения в моем резюме?
Можешь ли ты добавить специфические для отрасли ключевые слова в мое резюме, чтобы оптимизировать его для автоматического анализа резюме.

Так же обращайте внимание на предложения по тому, чем вам может помочь Bing AI. Чат-бот пишет их после каждого своего ответа.

Помните, даже если чат-бот не дает вам нужного ответа, вы всегда можете задать более подробный вопрос, перефразировать свой вопрос или попросить Bing AI написать еще вариант. И чем подробнее вы будете, тем лучше будут ответы. Желаю удачи в поиске работы своей мечты!

Почему Amazon CodeWhisperer - лучшая бесплатная альтернатива для GitHub Сopilot

noreply@blogger.com (Андрей Бороздин) — Sat, 15 Apr 2023 17:26:00 +0000

Вы наверняка слышали о GitHub Copilot - инструменте, который использует искусственный интеллект (ИИ) от OpenIA, чтобы помочь вам писать код быстрее и лучше. Однако, несмотря на все преимущества, многие программисты ищут альтернативы для GitHub Copilot, и Amazon CodeWhisperer является, пожалуй, одним из лучших вариантов. В этой статье я расскажу, почему я считаю Amazon CodeWhisperer - лучшей альтернативой для GitHub Copilot и как вы можете начать с ним работать прямо сейчас.

Что такое Amazon CodeWhisperer?

Amazon CodeWhisperer - это сервис, который помогает повысить производительность разработчиков, генерируя рекомендации по коду на основе их комментариев на естественном языке и кода в IDE. Сервис поддерживает популярные языки программирования, такие как C#, Java, JavaScript, Python и TypeScript, и интегрируется с различными IDE, включая JetBrains (IntelliJ IDEA, PyCharm, WebStorm и Rider), Visual Studio Code, AWS Cloud9 и консоль AWS Lambda. Сервис помогает разработчикам писать код быстрее, генерируя целые функции и логические блоки кода - зачастую состоящие из более чем 10-15 строк кода. Amazon утверждает, что разработчики которые используют Amazon CodeWhisperer в среднем пишут код на 57% быстрее, чем те, которые его не используют.

Как работает Amazon CodeWhisperer?

Amazon CodeWhisperer анализирует ваш комментарий на естественном языке и код в IDE и использует ML-модель, обученную на различных источниках данных, включая Amazon.com и открытый код, чтобы сгенерировать код, который вам нужно написать. Сервис учитывает ваш стиль и паттерны кодирования и предлагает код, похожий на то, как бы вы сами его написали. Кроме того, сервис даже предлагает рекомендации для завершения самого комментария по мере того, как вы его пишете.

Почему Amazon CodeWhisperer лучше GitHub Copilot?

Есть несколько причин, по которым я считаю Amazon CodeWhisperer лучшей бесплатной альтернативой для GitHub Copilot. Вот некоторые из них:

Во-первых, Amazon предоставляет бесплатный доступ к CodeWhisperer. Это означает, что любой разработчик может использовать инструмент без необходимости оплаты подписки. В то время как GitHub Copilot доступен только на платной основе. Цены начинаются от 10$ за месяц для индивидуальных разработчиков.
Во-вторых, Amazon CodeWhisperer интегрируется с другими инструментами AWS, такими как Amazon S3, Amazon EC2 и Amazon Lambda, что позволяет разработчикам использовать его в рамках общей экосистемы AWS и получить доступ к широкому спектру инструментов и услуг, которые могут быть использованы в различных этапах процесса разработки.
В-третьих, у Amazon CodeWhisperer есть встроенная проверка безопасности кода. CodeWhisperer обеспечивает безопасность ваших приложений, анализируя существующий код в IDE (сгенерированный CodeWhisperer или написанный вами) и выявляя трудно обнаруживаемые ошибки с высокой точностью. Сервис также предоставляет рекомендации по их устранению.

Как начать работать с Amazon CodeWhisperer?

Чтобы начать работать с Amazon CodeWhisperer, вам нужно сделать следующее:

Зарегистрироваться на AWS и получить бесплатный доступ к сервису. Для регистрации на AWS вам может понадобиться VPN.
Установить расширение AWS Toolkit для вашей IDE (JetBrains, Visual Studio Code или AWS Cloud9).
Активировать CodeWhisperer в настройках расширения.
Начать писать комментарии и код в вашей IDE и получать рекомендации от CodeWhisperer.

Заключение

Amazon CodeWhisperer - это мощный и бесплатный инструмент для разработчиков, который помогает писать код быстрее и лучше с помощью ИИ. Он поддерживает популярные языки программирования и популярные IDE, предлагает рекомендации по коду для AWS API, обеспечивает безопасность кода, отслеживает ссылки на код и способствует ответственному использованию ИИ/ML. Если вы хотите ускорить свой процесс разработки и повысить свою продуктивность, то попробуйте Amazon CodeWhisperer прямо сейчас!

Команды docker save/load, docker export/import – в чем отличие, как и когда ими пользоваться

noreply@blogger.com (Андрей Бороздин) — Tue, 27 Jul 2021 07:48:00 +0000

В этой статье я хочу рассказать про пары команды docker save/load и docker export/import, показать примеры их использования и рассказать чем они отличаются.

Да и как обычно, если тексту с картинками вы предпочитаете видео, то вот моя видео-инструкция на YouTube.

Команды docker save и docker load

Начнем с пары docker save/load. Эта пара команд работает с докер-имиджами. Команда docker save сохраняет имидж с локальной машины в tar-архив. Этот архив содержит всю необходимую информацию, чтобы потом восстановить докер-имидж. Восстановление докер-имиджа из tar-архива производится командой docker load.

Теперь посмотрим на примере как это делается. У меня локально есть докер-имидж “alpine”.

Чтобы сохранить его как tar-архив воспользуемся командой

docker save alpine -o alpine-image.tar

Обратите внимание, на ключ “-o“. Он позволяет указать имя файла, в который надо сохранить докер-имидж.

Теперь я удалю этот имидж из системы командой

docker image rm alpine

Как вы видите, никаких имиджей у меня сейчас больше нет.

Далее, для загрузки докер-имиджа из tar-архива нужно вызвать команду

docker load -i alpine-image.tar

В ключе “-i” указывается имя файла с архивом. Причем обратите внимание, докер-имидж восстановился именно с тем же репозиторием, тэгом и даже image id. Последнее, правда, удивительно.

Когда это может быть полезно. В моей практике был случай, когда у нас в проекте был Dockerfile но у одного из разработчиков не проходила локальная сборка этого файла из-за каких-то проблем с промежуточной командой “npm install”. Времени разбираться особо у нас с тот момент не было, и мы просто сохранили имидж в архив с машины у одного разработчика и восстановили командой docker load на машине, где была проблема со сборкой.

Команды docker export и docker import

Если команды save/load довольно просты для понимания – выгружают и загружают докер-имидж, то взаимосвязь между export/import не такая линейная. Команда docker export – выгружает файловую систему докер-контейнера как tar-архив. Когда это может быть полезно. Например, если во время работы контейнера создаются некие артефакты, которые довольно трудоемко пересоздать или можно использовать docker export чтобы сделать своего рода «бэкап» для докер-контейнера. Для демонстрации работы этой команды запустим временный контейнер на основе alpine докер-имиджа командой

docker run --rm -it alpine sh

Далее откроем второй терминал/командную строку и командой

docker export -o alpine-fs.tar 8f4ae688ed8a

сохраним файловую систему контейнера в tar-архив

Теперь рассмотрим команду docker import. Она не создает докер-контейнер как можно было бы ожидать. Команда docker import на основе tar-архива, созданного командой docker export создает опять-таки докер-имидж. А вот на основе этого докер-имиджа уже можно развернуть докер-контейнер.

docker import alpine-fs.tar alpine-fs

Заключение

В заключение повторю ключевые идеи из статьи

docker save – сохраняет докер-имидж как tar-архив. Этот архив можно, например, скопировать на другую машину.
docker load – создаёт докер-имидж из tar-архива созданного командой docker save
docker export – сохраняет файловую систему докер-контейнера как как tar-архив.
docker import – создает докер-имидж, а не докер-контейнер из tar-архива созданного командой docker export.

Сколько докер занимает места на машине и как его "почистить"

noreply@blogger.com (Андрей Бороздин) — Wed, 07 Apr 2021 12:57:00 +0000

Задумывались ли вы когда-нибудь, сколько места на вашей машине занимают не используемые докер-имиджи, докер-контейнеры и прочие артефакты, которые докер создает? Если вы ни разу их не проверяли и не разу не чистили докер, что можете быть удивлены, так как это запросто могут быть десятки гигабайт на вашем жестком диске.

Да и как обычно, если тексту с картинками вы предпочитаете видео, то вот моя видео-инструкция на YouTube.

После некоторого времени работы с докером в системе накапливаются разные докер-артефакты: images, containers, volumes которые вы не используете, и скорее всего, даже забыли об их существовании. Тем не мене они день за днем продолжают занимают место на вашем жестком диске. Фактически они вам больше не нужны, а если и когда-то понадобятся снова то докер их вам скачает из Docker Hub или создаст этот артефакт из Dockerfile. Если не держать эти артефакты под контролем, то дисковое пространство на вашей машине может исчерпаться довольно быстро.

В этой статье я расскажу о разных способах узнать о том, как расходует дисковое докер и как можно его "почистить".

Шаг 1. Анализ использования докером дискового пространства

Начнем с анализа того как докер использует дисковое пространство на твоей машине. Для этого есть специальная команда docker system df . Результат работы этой команды будет выглядеть где-то так.

Эта команда показывает

1. Колонка TYPE - какие артефакты (образы, контейнеры и пр) есть на твоей машине

2. Колонки TOTAL и ACTIVE- сколько артефактов разных типов на машине.

3. Колонка SIZE - сколько эти артефакты занимают места на машине.

4. Колонка RECLAIMABLE - сколько места, можно было бы освободить, если удалить не используемые артефакты.

Команду docker system df можно запустить с ключом "-v" чтобы увидеть сводную информацию по всем артефактам - сколько занимает места каждый имидж, контейнер, что находится в билд-кэше. В качестве работы этой команды я приведу скриншот с виртуальной машины на qEmu, т.к. мой занимает несколько экранов :).

В общем-то не удивительно, что большую часть места на диске занимают именно докер-имиджи. Поэтому, чтобы освободить значительную часть дискового пространства, как правило, достаточно сфокусироваться именно на них. Получить точечную информацию о том, какие скачаны имиджи и сколько они занимают можно командой docker image ls (или docker images).

Рекомендую также попробовать эту команду с ключом "--all" которая также показывает скрытые промежуточные имиджи, которые остаются после того как команда "docker image build" завершается с какой-то ошибкой.

Шаг 2. Автоматическое удаление неиспользуемых докером артефактов

После того как мы разобрались куда "уходит" место, надо докер "почистить". Основная команда для освобождения места на машине это docker system prune. Она удаляет

все "болтающиеся" (dangling) докер-имиджи,
все остановленные докер-контейнеры,
неиспользуемые сетевые соединения
чистит кэш сборки докер-имидже

Вот как выглядит результат использования этой команды

Стоит немного рассказать, что такое "болтающиеся" (dangling) докер-имиджи. Это неиспользуемые имиджи, у которых также нет тэга. Обычно они появляются и остаются при неуспешных попытках сборки докер-имиджа. Посмотреть их можно командой docker images --filter "dangling=true".

У команды docker system prune есть ключ "--all" которая удалит все неиспользуемые имиджи (даже если у них есть тэг). Очевидно, что команда docker system prune --all позволяет освободить значительно больше места. Я как правило пользуюсь именно ей, т.к. обычно у меня нет докер-имиджей, которые бы я не мог скачать с Docker Hub или так или иначе собрать из Dockerfile.

Для удаления "болтающихся" и не используемых только докер-имиджей есть так же специальная команда docker image prune и у нее также есть флаг "--all".

Шаг 3. Чтобы еще такого удалить? Лайфхаки

В заключение хочу поделиться парой команд, которыми я так же пользуюсь когда мне надо что-то выборочно "почистить" в докере.

Удаление докер-имиджей по шаблону

Команда docker image ls (docker images) может принимать фильтр согласно которому она показывает имиджи. Этот фильтр можно так же использовать чтобы удалить докер-имиджи, которые соответствуют какому-либо критерию. Вот здесь можно прочитать подробнее про использование фильтров и есть много примеров. Используя этот фильтр и команду удаления докер-имиджей можно организовать удаление докер-имиджей по определенному условию. Так, например, можно удалить "болтающиеся" имиджи при помощи фильтра в docker image ls/docker images

$ docker rmi $(docker images -f "dangling=true" -q)

Удаление всех докер-контейнеров

Иногда надо, например, удалить все контейнеры. В таком случае удобно воспользоваться вот такой командой

$ docker rm $(docker ps -aq)

В этой статье я поделился всем, чем пользуюсь сам при "чистке" докера. Если вы привыкли пользоваться какими-то другими командами/способами, буду рад, если вы поделитесь ими в комментариях к этой статье.

Как посмотреть забытый пароль к WiFi при помощи командной строки Windows

noreply@blogger.com (Андрей Бороздин) — Sat, 27 Mar 2021 13:30:00 +0000

Хочешь почувствовать себя хакером, поразить коллег, родных и знакомых? Тогда посмотри как можно "подсмотреть" сохраненный на пароль к Wi-Fi при помощи командной строки Windows.

Да и как обычно, если тексту с картинками вы предпочитаете видео, то вот моя видео-инструкция на YouTube.

Шаг 1. Открываем командную строку Windows. Самый простой способ - это нажать клавиши Win+R, в появившемся окне ввести cmd и нажать Enter.

Шаг 2. В командной строке вводим команду netsh wlan show profiles которая показывает сохраненные на компьютере Wi-Fi сети

Я для примера, в этой статье выбрал имя первой сети, E-Flow Guest которую я придумал и специально создал для этой статьи.

Шаг 3. Находим в списке нужную вам сеть и копируем ее имя в буфер обмена. Далее командой netsh wlan show profiles "<имя сети>" key=clear можно увидеть некоторые данные этой Wi-Fi сети, включая пароль (в строке Key Content и будет отображаться пароль к этой Wi-Fi сети).

В конце статьи хочу напомнить, что "подсматривать" пароль можно только на компьютерах которыми владеете и/или пользуетесь вы сами. На чужом компьютере это делать можно только с согласия того, кто им пользуется. В противном случае это не этично, да и не законно.

docker swarm leave vs docker node rm

noreply@blogger.com (Андрей Бороздин) — Wed, 10 Feb 2021 14:11:00 +0000

Обе эти команды по имеют очень похожее описание. Вот описания этих команд из документации

$ docker node rm --hel

Usage: docker node rm [OPTIONS] NODE [NODE...]

Remove one or more nodes from the swarm

$ docker swarm leave --help

Usage: docker swarm leave [OPTIONS]

Leave the swarm

И действительно, по факту обе эти команды делают очень похожие вещи - удаляют нод из swarm, но тем не менее отличия менее отличия все же есть. Давайте их разберем.

Команда docker swarm leave выполняется именно с той ноды, которая должна покинуть swarm. Причем, нод-менеджер не может покинуть swarm, его вначале надо перевести на позицию "рабочего" (worker). После выполнения команды swarm leave у нода все еще есть ID и он виден в списке нодов.
Команда docker node rm выполнятся только из ноды с ролью менеджера. Причем, при попытке выполнить эту команду над активным нодом, мы получаем сообщение, что нод вначале должен покинуть (leave) swarm.

Error response from daemon: rpc error: code = FailedPrecondition desc = node ijcmw84ypkt9dx9j9wmk9zi1h is not down and can't be removed

Тем не менее активный нод, все же можно удалить, применив ключ force но таски которые исполняются на этом ноде не успеют корректно завершиться.

По итогу "православный" алгоритм выглядит так (рассмотрим на примере кластера из 5 нодов, будем удалять нод с именем manager3)

1. Так как нод который должен покинуть swarm - имеет роль manager, его надо вначале перевести в разряд рабочих ( worker node)

2. Затем на ноде, который должен покинуть swarm выполняется команда docker swarm leave

3. Нод уже не в swarm и сервисы не будут его использовать для запуска задач. При этом у него все еще есть ID и он виден в списке нодов.

4. И в конце, нод удаляется из списка нодов командой docker node rm

Вернуть нод в swarm можно как обычно, командой docker swarm join.

Виртуальная машина QEMU с Linux (Ubuntu) на Windows 10

noreply@blogger.com (Андрей Бороздин) — Sun, 10 Jan 2021 18:54:00 +0000

В прошлой статье я рассказывал про создание и запуск виртуальной машины при помощи QEMU на MacOS, а в этот раз давайте рассмотрим установку Linux на Windows 10 на основе QEMU. Да и как обычно, если тексту с картинками вы предпочитаете видео, то вот мой обзор QEMU на YouTube.

Шаг 1. Устанавливаем QEMU

С официального сайта QEMU можно скачать инсталлятор для Windows. Проверить установилась ли корректно программа, можно запросив версию QEMU следующей командой

qemu-system-x86_64 –version

Если установка программы прошла успешно, то вы увидите что-то вроде такого сообщения

Шаг 2. Прописываем QEMU в переменные окружения

Чтобы удобнее было пользоваться программой я рекомендую прописать путь, где была установлена программа в переменные окружения. В моем случае это “c:\Program Files\qemu”.

Проще всего это сделать так. В меню “Start/Пуск” написать “env” и выбрать “Edit environment variables for your account”

Выберите переменную Path и нажмите кнопку “ Edit..”

В появившемся окне нажмите кнопку “New” и добавьте путь к QEMU

Шаг 3. Включаем Windows Hypervisor Platform

В меню Start/Пуск напишите “windows features”. Выберите пункт “Turn Windows features on or off”

В появившемся окне, в списке найдите и убедитесь, что помечен пункт “Windows Hypervisor Platform”

Шаг 4. Скачиваем iso-файл дистрибутива Linux

Для инсталляции Linux на виртуальную машину потребуется ее дистрибутив в формате ISO, который можно скачать с официального сайта. Я буду ставить Ubuntu Desktop.

Шаг 5. Создаем виртуальную машину

Основные приготовления сделаны. Теперь переходим к созданию виртуальной машины. Первым делом надо создать папку для виртуальной машины. Для удобства работы, скопируйте в нее скачанный ранее iso-файл с Ubuntu. Файл диска виртуальной машины создаётся командой

qemu-img create -f qcow2 ubuntu-20.10-desktop-amd64.qcow2 15G

Эта команда создаст файл виртуальной машины с именем ubuntu-20.10-desktop-amd64.qcow2 в формате QCOW2 на 15 Гб. Изначально файл не будет занимать сразу 15 Гб, а будет значительно меньше однако его предел - 15 Гб. Впрочем, это значение можно будет изменить позже.

Шаг 5. Устанавливаем Ubuntu

После того, как файл диска для виртуальной машины создан можно приступать к инсталляции Ubuntu. Для этого запустим виртуальную машину с подключенным iso-образом Ubuntu.

qemu-system-x86_64 ^

-machine type=q35,accel=whpx ^

-smp 2 ^

-hda ubuntu-20.10-desktop-amd64.qcow2 ^

-cdrom ubuntu-20.10-desktop-amd64.iso ^

-m 4G ^

-vga virtio ^

-usb ^

-device usb-tablet ^

-display default,show-cursor=on

Что означают параметры этой команды

machine - Эмулируемая машина и тип акселератора. q35 - это один из последних типов машин, а whpx - это акселератор для Windows10.
smp - Число процессоров для виртуальной машины
m - Размер оперативной памяти для виртуальной машины
hda - Ссылка на файл диска
cdrom - Ссылка на ISO-файл
vga - Графическая карта
usb - Разрешает доступ к USB-порту
device - Добавляем "usb-tablet" как устройство ввода, иначе мышь может не заработать
display - Включаем отображение курсора мыши на экране. Отключено по умолчанию.

После старта виртуальной машины запустится инсталлятор Ubuntu. По завершению система предложит перегрузиться.

Вместо этого лучше перейти в терминал, в котором запускали виртуальную машину и выйти из QEMU клавишами Сtrl+C.

Шаг 6. Запускаем виртуальную машину

Виртуальная машина с Ubuntu полностью готова, только теперь для запуска нам не нужна ссылка на iso-образ Ubuntu. Поэтому немного модифицируем команду запуска виртуальной машины, убрав из нее параметр cdrom.

qemu-system-x86_64 ^

-machine type=q35,accel=whpx ^

-smp 2 ^

-hda ubuntu-20.10-desktop-amd64.qcow2 ^

-m 8G ^

-vga virtio ^

-usb ^

-device usb-tablet ^

-display default,show-cursor=on

Команда для запуска достаточно объёмная, советую скопировать ее в bat-файл и хранить его в том же директории где и файл диска виртуальной машины. Так будет удобнее запускать.

Инсталлируем Linux на MacOS при помощи QEMU

noreply@blogger.com (Андрей Бороздин) — Wed, 30 Dec 2020 04:53:00 +0000

В этой статье я хочу рассказать и показать как создать и запускать виртуальную машину с Ubuntu 20l.10 при помощи QEMU на MacOs (BigSur).

Что такое QEMU

Quick EMUlator (QEMU) это эмулятор "железа" с открытым исходным кодом (лицензия GPLv2), который для ускорения работы виртуальных машин может использовать различные акселераторы. На Linux это KVM, который встроен в ядро операционной системы, На MacOS - это HVF. На сайте QEMU утверждается, что производительность виртуальных машин на основе QEMU близка к производительности таких машин на физическом железе. Давате проверим :).

Если тексту с картинками вы предпочитаете видео, то вот мой обзор QEMU на YouTube.

Устанавливаем QEMU

Установить QEMU на MacOS можно разными способами. У меня стоит Homebrew, с его помощью я и установил QEMU

brew install qemu

Проверить, установлен ли QEMU можно запросив версию программы.

qemu-system-x86_64 –version

Если установка закончилась успешно, то вы получите что-то вроде такого сообщения.

Дополнительное приседание на Big Sur

Идем дальше. Для корректной работы QEMU на Big Sur его надо вначале "пропатчить".Для этого создайте файл entitlements.xml с таким вот содержимым

<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">

<dict>

<key>com.apple.security.hypervisor</key>

<true/>

</dict>

</plist>

Далее надо подписать qemu-system-x86_64 этим файлом

codesign -s - --entitlements entitlements.xml --force /usr/local/bin/qemu-system-x86_64

Теперь qemu-system-x86_64 готова для работы на Big Sur

Создание виртуальной машины с Ubuntu 20.10

Теперь переходим к созданию виртуальной машины для Ubuntu. Для инсталляции Ubuntu на виртуальную машину потребуется ее дистрибутив в формате ISO, который можно скачать с официального сайта. Предположим, что он у нас находится в директории qemu-ubunut20. Все последующие команды я буду выполнять из этой директории.

Далее для инсталляции Ubuntu нам потребуется создать файл диска виртуальной машины, где Ubuntu будет установлена. Я буду использовать формат QCOW2 и создам файл на 15 Гб. Он не будет занимать сразу 15 Гб, он изначально будет значительно меньше однако его предел - 15 Гб. Это значение можно будет изменить позже. Для создания файла диска воспользуемся командой

qemu-img create -f qcow2 ubuntu-20.10-desktop-amd64.qcow2 15G

Установка Ubuntu

Как только файл диска готов можно запустить виртуальную машину с подключённым QCOW2 диском и ISO-образом Ubuntu вот такой вот командой

qemu-system-x86_64 \

-machine type=q35,accel=hvf \

-smp 2 \

-hda ubuntu-20.10-desktop-amd64.qcow2 \

-cdrom ./ubuntu-20.10-desktop-amd64.iso \

-m 4G \

-vga virtio \

-usb \

-device usb-tablet \

-display default,show-cursor=on

Давайте разберем параметры этой команды

machine - Эмулируемая машина и тип акселератора. q35 - это один из последних типов машин, а HVF - это акселератор для MacOS.
smp - Число процессоров для виртуальной машины
m - Размер оперативной памяти для виртуальной машины
hda - Ссылка на файл диска
cdrom - Ссылка на ISO-файл
vga - Графическая карта
usb - Разрешает доступ к USB-порту
device - Добавляем "usb-tablet" как устройство ввода, иначе мышь может не заработать :)
display - Включаем отображение курсора мыши на экране. Отключено по умолчанию.

После загрузки виртуальной машины запустится инсталлятор Ubuntu.

По окончанию инсталляции Ubuntu система предложит перезагрузиться. Вместо этого лучше закройте терминал с QEMU по Ctrl+C на MacOS.

Запуск Ubuntu

Теперь для запуска виртуальной машины нам больше не нужен файл ISO-образа Ubuntu. По этому немного модифицируем команду запуска виртуальной машины, убрав из нее параметр cdrom. Команда для запуска достаточно объёмная, советую скопировать ее в sh-файл и хранить его в том же директории где и файл виртуальной машины. Так будет удобнее запускать. Для этого создаем файл скрипта командой

touch run.sh

Копируем содержимое в файл run.sh

qemu-system-x86_64 \

-machine type=q35,accel=hvf \

-smp 2 \

-hda ubuntu-20.10-desktop-amd64.qcow2 \

-m 4G \

-vga virtio \

-usb \

-device usb-tablet \

-display default,show-cursor=on

Далее надо сделать файл скрипта исполняемым

sudo chmod +x run.sh

Теперь можно запустить скрипт для старта виртуальной машины

./run.sh

Как запустить Linux GUI приложения из докер-контейнера

noreply@blogger.com (Андрей Бороздин) — Sun, 18 Oct 2020 16:42:00 +0000

Признаюсь сразу, мне было интересно попробовать это из "спортивного" интереса но я не вижу большого практического смысла в этом. В таком случае использование виртуальной машины считаю более целесообразным. В статье я расскажу про самый простой способ – запуск докер-контейнера из специально подготовленного докер-имиджа с Docker Hub.

Если тексту с картинками вы предпочитаете видео, то вот мой обзор на YouTube.

Принцип работы с такими докер-контейнерами единый

Запускаем подходящий докер-контейнер. В статье я опишу несколько из них.
Подключаем приложение для удаленной работы с рабочим столом системы, работающей в контейнере. Это может быть VNC или Remote Desktop. На Маке VNC клиент встроен в Finder, а Remote Desktop можно скачать из AppStore. На Windows ситуация обратная. В большинстве случаев приложение Remote Desktop входит в состав операционной системы, а VNC клиента можно скачать.

Рассмотрим работу с таким контейнером на примере одного из самых функциональных докер-имиджей - https://hub.docker.com/r/manishfoodtechs/xfcefulldesktop_ubuntu20.4

Данный имидж базируется на ubuntu 20.4 и имеет из коробки больше всего предустановленного софта – Firefox, LibreOffice и много других утилит. Автор докер-имиджа предлагает работать с контейнером через RDP. По тому команда для запуска контейнера будет иметь следующий вид.

docker run -it -p 9096:3389 -e 3389 --shm-size 2g manishfoodtechs/xfcefulldesktop_ubuntu20.4

В этой команде «пробрасывается» порт для работы с контейнером через RDP – 3389. Поэтому, после старта контейнера нужно запустить сервер удаленного рабочего стола на основе протокола RDP

/etc/init.d/xrdp restart

Все. Теперь можно запускать Remote Desktop и подключаться к рабочему столу в контейнере.

Я приведу скриншоты с Remote Desktop на Маке. При подключении Remote Desktop пожалуется, что мне знает такого компьютера. Для продолжения нажмите кнопку Connect.

В качестве имени компьютера (PC Name) надо указать 127.0.0.1:9096, Username: root и Password: 123456

Не пугайтесь, иконки в системе стилизованы под Windows. Не знаю зачем, но даже иконка Firefox сделана как иконка Microsoft Edge, a иконки приложений LibreOffice стилизованы под Microsoft Office.

Можно в команду запуска докер-контейнера добавить ключ -v $(pwd):/host и тогда можно работать с файлами из текущего директория их докер-контейнера. Полностью команда для запуска докер-контейнера будет выглядеть так

docker run -it -p 9096:3389 -e 3389 -v $(pwd):/host --shm-size 2g manishfoodtechs/xfcefulldesktop_ubuntu20.4

Если по каким-то причинам вы не хотите работать через RDP, то можно настроить контейнер для работы через VNC. В простейшем варианте, чтобы не делать свой докер-имидж это может выглядеть так.

Запускаем контейнер с открытием дефолтного порта для VNC – 5901 (вместо 3389)

docker run -it -p 5901:5901 -v $(pwd):/host --shm-size 2g manishfoodtechs/xfcefulldesktop_ubuntu20.4

Далее, после старта контейнера в контейнере через терминал устанавливаем VNC server

sudo apt install tightvncserver

и запускаем VNC server

sudo vncserver

VNC server при запуске попросит создать и подтвердить пароль для удаленного доступа к рабочему столу. На вопрос "Would you like to enter a view-only password (y/n)?". Отвечаем “n”.

Все приготовления сделаны. Теперь можно подключать VNC клиента. На Маке VNC клиент встроен в Finder (Go->Connect to Server). В качестве стоки подключения нужно указать vnc://127.0.0.1:5901

В окне ввода пароля указываем тот пароль, который придумали на этапе запуска vncserver.

Если вам понравилась эта тема, то на Docker Hub есть и другие имиджи на Linux c GUI которые стоит попробовать. Могу посоветовать

https://hub.docker.com/r/dorowu/ubuntu-desktop-lxde-vnc - есть разные версии Ubuntu. 20, 18, 16, 14. Что весьма удобно, с десктопом можно как через VNC клиента, так и есть веб-интерфейс, т.е. можно работать из браузера.
https://hub.docker.com/r/queeno/ubuntu-desktop/ - «голая» Ubunut 16.04. Работа через VNC
https://hub.docker.com/r/cyverse/ubuntu18-xfce-desktop - «голая» Ubunut 18.04. Работать с контейнером можно как при помощи веб-интерфейса, так и через VNC клиента.

Отладка сборки докер-имиджа

noreply@blogger.com (Андрей Бороздин) — Wed, 07 Oct 2020 06:55:00 +0000

Сборка докер-имиджей не всегда идет хорошо. Бывает, что билд заканчивается ошибкой, а порой, что зачастую еще хуже, билд прошел успешно, но имидж получается не такой как планировалось и в чем проблема не понятно. В такой ситуации может очень выручить понимание того как происходит сборка докер-имиджа и как можно проверить состояние докер-имиджа на промежуточных этапах.

Если тексту с картинками вы предпочитаете видео, то вот мой обзор отладки докер-имижа на YouTube

Как известно, сборка докер-имиджа разбита на этапы и каждый такой этап выполняется в отдельном докер-контейнере, который потом формирует промежуточный докер-имидж. Самый первый контейнер формируется из команды FROM в Dockerfile. Вот скриншот сборки для моего довольно простого докер-файла и в нем команда docker image build создала семь промежуточных докер-имиджей, а восьмой - стал финальным.

Промежуточные докер-имиджи не удаляются, а сохраняются. Их можно посмотреть командой

docker image ls -a

Теперь переходим к самому интересному. Если сборка докер-имиджа идет не так как вы ожидали или вы не понимаете, почему докер-имидж получился таким каким получился, то можно запустить контейнер на основе промежуточного имиджа, запустить на нем терминал и проверить его содержимое и состояние. Сделать это можно вот такой командой

docker run --rm -it 09db5a1c9e94 sh

здесь

09db5a1c9e94 - это ID докер-имиджа который я хочу проверить.
флаг --rm создаст временный докер-контейнер, который будет автоматически удален при выходе из него.
флаг -it переведет контейнер в интерактивный режим.

Кстати, чтобы удалить все эти промежуточные докер-имиджи можно воспользоваться командой

docker image purne

Эта команда удалит все промежуточные имиджи, и другие имиджи с которыми нет связанных контейнеров на этой машине, что позволит освободить немало места на вашей системе.

Удачной и легкой вам отладки!

Отладка Node.js приложения в докер-контейнере

noreply@blogger.com (Андрей Бороздин) — Fri, 02 Oct 2020 16:40:00 +0000

В этой статье хочу рассказать как настроить отладку Node.js приложения работающего в Docker-контейнере. В большинстве случаев нет никакой проблемы, чтобы отладить приложение локально, но некоторые дефекты в работе приложения проявляются только будучи запущенными в рамках контейнера. В такой ситуации гораздо эффективнее и быстрее обнаружить и исправить проблему если подключить полноценный отладчик.

Весть процесс, с большего, состоит из 3-х шагов.

Надо изменить запуск Node.js, чтобы он работал с включенным режимом отладки.
Открыть доступ к порту, указанному при включении режима отладки в Node.js.
Настроить инструмент для отладки. Это может быть любая IDE. Многие разработчики пользуются VS Code, я им тоже пользуюсь, на его примере я и покажу в этой статье как это сделать.

Если тексту с картинками вы предпочитаете видео, то вот мой обзор отладки Node.js приложения в докер-контейнере на YouTube

Я этого примера создал простое Node.js приложение и докер-файл для него. Полный пример Node.js приложения и Dockerfile к нему можно посмотреть в репозитории на GitHub.

const express = require("express");
const app = new express();

app.get("/", function(req, res){
    res.send("Hello, World!");  
});

const PORT = 8080;
app.listen(PORT, function(){
    console.log("Listening on port " + PORT);
});

app.js

FROM node:14-alpine

WORKDIR /node-app

COPY package.json .
RUN npm install
RUN mv /node-app/node_modules /node_modules

COPY . .

CMD [ "node", "app.js" ]

EXPOSE 8080

Dockerfile

Шаг 1. Запускаем NodeJS в режиме отладки

Первое что надо сделать - это запустить Node.js в докер-контейнере в режиме отладки. Делается это передачей ключа --inspect при старте Node (вот здесь можно почитать подробнее). В Dockerfile у нас уже есть инструкция по запуску Node и переопределить настройки запуска Nods в контейнере можно разными способами - например, параметрами команды docker container run или можно создать файл для docker-compose и там переопределить ряд параметров. Вариант с docker-compose мне кажется более удобным.

version: '3.4'

services:
  nodeapp:
    build: .
    ports:
      - 8080:8080
    command: node --inspect=0.0.0.0:9229 app.js

docker-compose.yml (not finished)

Шаг 2. Открываем доступ к порту

Теперь, дополнительно к порту на котором работает приложение нам надо открыть доступ к порту через который работает инспектор. Для этого обновляем docker-compose файл, чтобы открыть доступ к порту 9229, который мы указали в параметрах инспектора.

Зачастую так же удобно переопределить и путь к коду Node.js приложения, чтобы можно было внести изменения в код и убедиться, что приложение работает так как ожидается. Финальная версия docker-compose файла так же находится в репозитории на GitHub.

version: '3.4'

services:
  nodeapp:
    build: .
    ports:
      - 8080:8080
      - 9229:9229
    volumes:
      - .:/node-app
    command: node --inspect=0.0.0.0:9229 app.js

docker-compose.yml (final)

Запускаем docker-compose с флагом --build :

docker-compose up --build

Шаг 3. Настраиваем VS Code и запускаем отладку

Теперь подключаем VS Code. Для этого надо добавить конфигурацию отладки в VS Code.

Для начала надо перейти на панель отладки в VS Code

Далее, если launch.json есть, то надо добавить новую конфигурацию,

Если launch.json еще не был создан, то его надо создать, кликнув на линку "create a launch.json file"

В появившемся списке шаблонов конфигураций можно выбрать "Node.js: Attach to Remote Program" а если такой нет, то любую и заменить ее на мой пример (файл на GitHub).

        {
            "address": "127.0.0.1",
            "localRoot": "${workspaceFolder}",
            "name": "Attach to Remote",
            "port": 9229,
            "remoteRoot": "/node-app",
            "request": "attach",
            "skipFiles": [
                "<node_internals>/**"
            ],
            "type": "pwa-node"
        }

На что здесь важно обратить внимание

address - IP-адрес машины где запущен докер-контейнер.
port - порт через который работает Node Inspector. Он должен быть такой же как мы указывали в ключе --inspect.
remoteRoot - путь в докер-контейнере, где находится код приложения.

Теперь можно запускать отладчик. Для этого нужно нажать кнопку "Start Debugging".

В коде приложения можно ставить точки останова (breakpoints), проверять значения переменных и полей объектов и пр.

Что можно сделать еще

Если пойти дальше и модифицировать немного Dockerfile можно с эпизодической отладки приложения перейти на полноценную разработку в Docker-контейнере. Это может быть удобно в случае когда надо разрабатывать и поддерживать приложения на разных версиях Node.js. Для этого нужно установить в docker-контейнер forever или любое другое приложение, которое будет перезапускать Node при изменении кода и соответственно у нас немного изменится команда для запуска приложения. Новый докер-файл (я его назвал Dockerfile.dev) и docker-compose.dev.yml будут выглядеть так.

FROM node:14-alpine

WORKDIR /node-app

RUN npm install -g forever

COPY package.json .
RUN npm install
RUN mv /node-app/node_modules /node_modules

COPY . .

CMD [ "forever", "-w", "app.js" ]

EXPOSE 8080

Dockerfile.dev

version: '3.4'

services:
  nodeapp:
    build: 
        context: .
        dockerfile: Dockerfile.dev
    ports:
      - 8080:8080
      - 9229:9229
    volumes:
      - .:/node-app
    command: forever -w -c "node --inspect=0.0.0.0:9229" app.js

docker-compose.dev.yml

Поскольку у нового docker-compose файла имя отличное от дефолтного, то запускать его надо с немного другой командой

docker-compose -f docker-compose.dev.yml up --build

Play with Docker (PWD) - докер в твоем браузере

noreply@blogger.com (Андрей Бороздин) — Fri, 04 Sep 2020 19:02:00 +0000

Play with Docker (PWD) это проект разработанный для изучения докера. Сервис может быть очень полезен тем, кто изучает докер так как дает возможность попробовать весь функционал докера прямо из браузера и не требуется ничего устанавливать локально. При это работает все исключительно быстро и буквально в течении секунды создается новая "виртуальная машина".

Сервис предоставляет на 4 часа до 5 как-бы виртуальных Linux-машин, на которых уже установлена последняя версия Docker Community Edition. Сервис построен по технологии Docker-in-Docker. Так что это не настоящие виртуальные машины, а по сути докер-контейнеры с Linux.

Если тексту с картинками вы предпочитаете видео, то вот мой обзор Play-with-Docker на YouTube

Доступ к сервису бесплатный, требуется лишь логин на Docker Hub. Хостинг проекта спонсируется Docker Inc. и, ксати, на одной из конференций DockerCon утверждалось, что Docker Inc сама использует его для обучения своих новых сотрудников.

Итак, краткий перечень того, что позволяет Play with Docker

1. Конечно же запускать разные докер-контейнеры. Например, рекомендую попробовать мой любимый nginx. Сервис автоматически проксирует запросы к контейнеру "виртуальной машины". Так что если вы развернете контейнер с каким-нибудь веб-сервером у вас есть возможность посмотреть в браузере, как работает сайт.

2. Урл можно шэрать и тогда несколько человек будут работать с одной и той же сессией "виртуальной машины"

3. К "виртуальным машинам" можно подключаться по ssh работать с докером через ваш локальный терминал.

4. Из коробки работает автокомплит! И в браузере и в терминале при подключении по ssh, что конечно очень удобно когда изучаешь докер.

5. Есть шаблоны для swarm режима. Можно очень быстро создать конфигурации с нодами-manager и worker

Для чего может быть полезен Play with Docker

1. Во первых, конечно же для изучения докера. Например, для изучения swarm режима, когда, по хорошему, нужно несколько машин. Для тех, кто изучает докер, на сервисе есть так же набор уроков https://training.play-with-docker.com/ (от основ, до деплоймента на прод).

2. Если вы хотите попробовать какие-то "фишки" новой версии докера, а у вас установлена старая версия.

3. Сервис может быть полезен для проведения "удаленных" интервью по докеру. Можно создать сессию, поделиться урлом с разработчиком, который проходит интервью и попросить его продемонстрировать навык работы с докером.

Health Check для докер-контейнера

noreply@blogger.com (Андрей Бороздин) — Sat, 29 Aug 2020 17:03:00 +0000

С версии докера 1.12 в докер-контейнере появилась возможность проверки работоспособности контейнера – так называемый health check.

Типичный health check организуется периодическим вызовом некой команды, которая проверяет «жив» ли сервис, который исполняется в контейнере. Так, для веб-сервера который отвечает за работу некоторого сайта это может быть команда curl которая проверяет переделённую страницу веб-сайта, это может быть оценка используемой памяти сервисом или загрузка процессора в течении некоторого времени.

Статус «здоровья» докер-контейнера до первой проверки принимает значение “starting”. После любой успешной проверки он становится “healthy”. Если тест «падает» несколько раз подряд в течении определенного интервала, то такой контейнер считается «плохим» (unhealthy). Статус докер-контейнера можно проверить командами “docker ps” и “docker container ls”.

Если тексту с картинками вы предпочитаете видео, то вот мой обзор healthcheck для docker container на YouTube.

Как включить health check для докер-контейнера

Health check для докер-контейнера может быть указан в нескольких местах

В командах “docker run” и “docker container run”
В файле Dockerfile
В файле Docker compose
В команде docker service create

Рассмотрим установку health check на примере Dockerfile. Для Dockerfile она имеет вот такой формат. Вот здесь можно посмотреть спецификацию команды helalthcheck для dockerfile

HEALTHCHECK [OPTIONS] CMD command

OPTIONS – параметры проверки «здоровья» докер-контейнера. Их можно не указывать, если вас устраивают дефолтные параметры.
command – непосредственно команда из оболочки (shell) которая проверяет состояние докер-контейнера.

Например, она может выглядеть так.

HEALTHCHECK --interval=30s --timeout=1s --retries=3 --start-period=10s CMD curl --fail http://localhost:80/ping.html || exit 1

interval – указывает как часто надо проверять состояние докер-контейнера. По умолчанию - 30 секунд
timeout – если выполнение команды занимает больше времени чем указано в этом параметра, то он считается не успешным. По умолчанию - 30 секунд.
retries - число не успешных проверок выполненных подряд, после чего докер-контейнер считается «плохим» (unhealthy). По умолчанию - 3 попытки.
start-period – время, которое дается контейнеру на первоначальную загрузку.. По умолчанию - 0 секунд

Пример. Простейщий dockerfile с healthcheck

FROM nginx

RUN echo "ping" >> /usr/share/nginx/html/ping.html

HEALTHCHECK --interval=30s --timeout=10s --retries=5 --start-period=10s \

CMD curl --fail http://localhost:80/ping.html || exit 1

Собираем образ командой

docker image build -t testhl .

и запускаем докер-контейнер

docker run --rm -d -p 80:80 testhl

Страница ping.html статическая, генерируется при сборке докер-образа, так что health check исправно определяется как “healthy”.

Меняем health check чтобы он выдавал ошибку, пересобираем докер-образ и запускаем докер-контейнер заново.

FROM nginx

RUN echo "ping" >> /usr/share/nginx/html/ping.html

HEALTHCHECK --interval=30s --timeout=10s --retries=5 --start-period=10s \

CMD curl --fail http://localhost:80/ping2.html || exit 1

Страницы ping2.html в моем веб-сайте нет, так что health check через некоторое время определяется как unhealthy.

Автоматический перезапуск «проблемного» докер-контейнера

От одного понимания, что контейнер «испортился» пользы не много. Гораздо удобнее, было бы если докер мог бы перезапустить «проблемный» контейнер. К сожалению, «из коробки» такое работает только в режиме Docker Swarm, когда вы управляете кластером из докер-контейнеров. Более подробно про Swarm можно почитать https://docs.docker.com/engine/swarm/key-concepts/

Чтобы добиться такого же и для одного докер-контейнера нужно сделать следующее.

Заменить exit 1 на kill 1 в инструкции HEALTHCHECK
Запускать докер-контейнер с опцией –restart always

Пример

Меняем Dockerfile следующим образом

FROM nginx

RUN echo "ping" >> /usr/share/nginx/html/ping.html

HEALTHCHECK --interval=30s --timeout=10s --retries=5 --start-period=10s \

CMD curl --fail http://localhost:80/ping2.html || kill 1

2. Собираем новый имидж

3. Запускаем имидж вот такой командой.

docker container run --restart always -d -p 80:80 testhl

Обратите внимание, мне пришлось убрать опцию “--rm” так как она конфликтует с “--restart”

Обратите внимание на значения в поле STATUS. Я его проверял в разные интервалы времени и видно, что контейнер некоторое время работал (статус был up 5 seconds, up 22 seconds) и затем был перезапущен (статус стал up 11 seconds).

Azure Static Web Apps - еще один способ бесплатного хостинга статического веб-сайта

noreply@blogger.com (Андрей Бороздин) — Sun, 02 Aug 2020 07:25:00 +0000

В прошлой статье я рассказывал как можно использовать Azure Storage Account для хостинга статических веб-сайтов. А сейчас я хочу рассказать еще об одном сервисе Azure для подобных задач - Azure Static Web Apps.

На данный момент сервис находится в стадии Preview и его использование бесплатно. В рамках бесплатного использования Azure разрешает задеплоить до 10 сайтов, веб-приложений. Полагаю, что, когда сервис выйдет из preview эта квота такой и останется.

Кстати, если тексту с картинками вы предпочитаете видео, то вот мой обзор Azure Static Web Apps на YouTube

Azure Free Account

Как обычно, хочу напомнить, что если сейчас у вас нет, аккаунта на Azure, то можно создать бесплатный. Вот здесь, в лекции "Step-by-step: Create Azure account and access to free resources" я рассказываю и показываю как его создать за 5 минут.

Деплоймент веб-сайта

Как и в случае с Storage Account, сервис Static Web Apps — это serverless решение и обладает всеми его преимуществами но при имеет и несколько существенных отличий от деплоймента при помощи Storage Account. Вот, наиболее важные, на мой взгляд

Во-первых, Static Web Apps (по крайней мере, на данный момент) требует привязки к аккаунту на GitHub и работает напрямую репозиториями на GitHub. Т. е. в отличие от Azure Storage Account файлы с локального компьютера с ним не задеплоишь

Во-вторых, сервис Static Web Apps позволяет в рамках этого же приложения. иметь и серверный код на основе Azure Functions.

И в-третьих, в сервисе ест ь возможность хранить конфигурационные параметры для веб-приложения (разного рода connection strings, secrets и пр.).

Перейдем непосредственно к тому, как работать с этим сервисом

1. В Azure Portal найдите сервис Static Web Apps. Проще всего это сделать через панель поиска.

2. Далее нажимаем на синюю кнопку Create static web app.

3. В форме Create Static Web App (Preview) нужно указать следующие поля

Resource group. Можно выбрать любою или создать новую кликнув на ссылку "Create new". Я создал новую и назвал ее MyStaticWebAppRG.
Static Web App details - Name. Можно указать все что вам нравится.
Static Web App details - Region. Место на земном шаре, где бы вы хотели задеплоить ваше приложение. Сервис еще в стадии Preview и не все регионы доступны.

Bот как эта форма выглядит в моем случае

4. Далее надо нажать на кнопку Sign in with GitHub. Откроется форма логина на GitHub. После успешного логина на форме Create Static Web App (Preview) появятся дополнительные поля для выбора организации, репозитория и бранчи.

На GitHub я создал репозиторий StaticWebapp и залил в него веб-сайт из прошлой статьи

Вот как эти поля выглядят в моем случае

5. На вкладке Build можно указать, где расположены файлы сайта и где код сервисов. У моего репозитория простая структура, нет сервисов на Azure Functions, а файлы веб-сайта расположены сразу в корне. И поэтому в моем случае эти поля пустые.

6. Следующий шаг – нажимаем кнопку Review + create. .Azure проверит параметры и если все ОК переведет вас на последнюю вкладку Review + create. Здесь в последний раз можно проверить параметры и нажимаем синюю кнопку Create.

7. Создание Static Web App происходит довольно быстро. У меня заняло где-то 30 секунд. Далее нажимаем Go to recourse чтобы попасть на страницу веб-приложения в Azure

7. На этом в общем-то и все, сайт задеплоен. По клику на Browse или линку в URL в отдельной вкладке браузера откроется index.html сайта.

Интересны изменения, которые произошли с GitHub репозиторием. Azure добавил в него GitHub Workflow файл. Теперь, с его помощью на любое изменение в master бранче моего репозитория сайт будет автоматически передеплоен.

Вторая интересная фишка, заключается в том, что на каждый Pull Request Azure Static Web App создаст отдельный деплоймент сайта, который можно найти на Serttings/Enviroments

Как только pull request будет смержен, Staging деплоймент так же удалится.

Как вы, может быть уже заметили, в интерфейсе Static Web Apps нет возможности указать стартовую страницу сайта (например, что-то отличное от дефолтного index.html) или страницу для обработки 404. Все это и многое другое можно сделать при помощи специального routes.json файла. Он должен быть расположен в коне веб-сайта. Более детально со спецификацией этого файла можно познакомиться в документации.

Что можно сделать еще

Сайту так же можно указать доменное имя в элементе Settings/Custom domains.

Что интересно, в отличие от решения на Storage Account в Settings нет опции Azure CDN. Все потому, что Azure CDN автоматически используется для веб-приложений задеплоенных при помощи Azure Static Web Apps. И что особенно приятно, платить за нее не надо.

Итог

В этой статье мы познакомились со Azure Static Web Apps. Если сравнивать это решение с деплойментом статических веб-сайтов при помощи Azure Storage Account, то все упирается в наличие репозитория на GitHub. По крайней мере сейчас. Если ваш репозиторий на GitHub, то конечно, этот вариант «из коробки» более прост удобен для работы. В добавок он поддерживает серверную функциональность на основе Azure Functinos.

Хостинг статического веб-сайта на Azure Storage, о котором должен знать каждый фронтенд-разработчик

noreply@blogger.com (Андрей Бороздин) — Wed, 29 Jul 2020 16:57:00 +0000

Всем привет! В этой статье хочу рассказать как элементарно просто развернуть статический веб-сайт на Azure при помощи Azure Storage. Процесс деплоймента весьма прост и состоит из нескольких шагов: создание Azure Storage Account, включение опции Static Website и непосредственно деплоймента веб-сайта. Причем это может быть очень дешево или совсем бесплатно.

Кстати, если вы предпочитаете видео статье, то ниже мой ролик на эту же тему.

Что такое статический веб-сайт

Но сперва пару слов о том, что такое статический вебсайт. Статический веб-сайт, это набор HTML+CSS+JavaScript для работы которого не требуется серверного кода. Т.е. статический веб-сайт может быть вполне себе динамическим. но это должно достигаться клиентскими скриптами. Так, это может быть сайт на Angular или React. Разработано большое количество генераторов статических сайтов на основе популярных JavaScript фреймворков и библиотек с большим количеством плагинов и тем. Вот примеры некоторых их них.

GatsbyJS - генератор статических на основе React
Scully - генератор статических сайтов на Angular.
Jekyll - генератор статических веб-сайтов на основе Markdown. Кстати, на этом инструменте работает GitHub Pages.

Конечно, использование генераторов статических сайтов вовсе не обязательно, но они могут значительно упростить создание веб-сайта. Если просуммировать кратко основные достоинства статических веб-сайтов, то на мой взгляд, это будут высокая скорость работы сайта и простота деплоймента.

Azure Free Account

Важный нюанс. Если сейчас у вас нет, аккаунта на Azure, то можно создать бесплатный. В своем курсе на Udemy я рассказываю как это сделать в лекции "Step-by-step: Create Azure account and access to free resources". Она доступна через Free Preview и регистрация на Udemy для этого тоже не требуется.

Делай Раз. Создаем Azure Storage Account

Шаг первый - создаем Azure Storage Account. По сути, Azure Storage Account - это своего рода контейнер для группировки и администрирования различных Azure Storage.

Azure Storage в свою очередь - это общее название для 4 сервисов хранения данных - Azure Blobs, Azure Files, Azure Queues, и Azure Tables.

1. В Azure Portal зайдите в сервис Storage account.

2. Создайте новый Storage account. Сделать это можно нажав на кнопку "Add" или на "Create storage account".

3. Надо заполнить форму на создание нового Storage account. Это довольно просто, т.к большинство полей заполнено дефолтными значениями, которые нам менять не надо.

Resource group. Тоже своего рода контейнер для более удобного администрирования разных ресурсов в Azure. Можно выбрать любою или создать новую кликнув на ссылку "Create new". Я создал новую и назвал ее MyRG.
Storage account name. Тут немного сложнее. Это имя будет присутствовать в урле для вашего вею-сайта и должно быть уникально среди всех Storage account зарегистрированных в Azure.

Вот как эта форма выглядит в моем случае.

Далее нажмите кнопку "Review + create"

4. Azure проверит параметры и если все ОК переведет вас на последнюю вкладку Review + create. В последний раз проверьте параметры и нажмите синюю кнопку Create.

5. Создание Storage Account занимает некоторое время. В мом случае это было секунд 20-30.

Далее перейдите к созданному Storage Account, например, нажав на синюю кнопку Go to resourse.

Делай Два. Включаем опцию Static website для созданного Storage Account

6. На странице Storage Account, в левом списке найдите раздел Settings и в нем кликните на Static Website. В правой панели переведите переключатель Static Website в режим Enabled.

7. Опционально, для веб-сайта можно указать главную страницу и что показывать если пользователь пытается открыть не существующую страницу.

8. Не забудьте нажать кнопку Save.

Вот так выглядит моя страница после сохранения. Здесь Primary endpoint

это адрес вашего статического веб-сайта.

Делай Три. Заливаем веб-сайт на Azure

9. Ну и последний шаг - надо "залить" наш сайт в специальный контейнер $web созданный для нас Azure. Для этого найдите в левом списке группу Blob service и в ней кликните на пункт Containers, В правой панели кликните на имя контейнера $web.

10. На этой форме уже непосредственно "заливаем" файлы веб-сайта в контейнер. Для этого нажмите на кнопку на тулбаре Upload. Появится панель справа, в которой выбираем имя файла, который надо залить в контейнер и нажимаем кнопку Upload.

Можно выбрать сразу несколько файлов.

Деплоить по одному файлу через Azure Portal - это занятие которое прекрасно развивает усидчивость однако мало пригодно для реальной работы. Чтобы задеплоить статический веб-сайт со сложной структурой одной командой лучше воспользоваться чем-то другим AzureCLI или AzCopy. Тем кто предпочитает GUI инструмент, могу порекомендовать Azure Storage Explorer.

После того как все файлы "залиты" можно проверять работу сайта. Вернитесь назад в свой Azure Storage Account и в пункте Static Website снова найдете урл на свой сайт.

Как удалить статический веб-сайт

Есть масса способов удалить статический веб-сайт. Вот несоклько их них

- отключить опцию Static Website на Storage Account

- удалить файлы из контейнера $web

- удалить контейнер $web

- удалить Storage Account

- удалить Resource group в которой был создан Storage Account

Сколько это стоит?

Мало. Сама опция Static website бесплатна. Нужно будет заплатить за место в контейнере, которое занимает веб-сайт. В бесплатный аккаунт входят 12 месяцев бесплатного использования 5 Gb. После этого или если 5Gb будет мало, то надо будет заплатить 1-3 цента за Gb в месяц.

Что можно сделать еще?

1. Свой домен. Да, статическому веб-сайту можно прикрутить свой домен. См. пункт Custom domain в разделе Blob service.

2. Azure CDN. Можно добавить кэширование контента статического веб-сайта ближе к конечным пользователям при помощи Azure CDN. Эта опция так же находится в Blob service.

Будни программиста

Harvard Research: ЗАМЕНА всего лишь ОДНОГО слова значительно повышает вашу способность убеждать других людей

Проблема с CloudFront и решение с Bing AI/Chat: мой опыт

Houston, we have a problem

Поиск решения

Решение проблемы с помощью Bing AI/Chat

Выводы

Как составить отличное резюме с помощью нейросетей и чат-ботов

Как пишутся резюме с помощью ChatGPT и похожих чат-ботов

Пример резюме от Bing Chat для конкретной вакансии

Попросите нейросеть улучшить ваше резюме

Подсказки и советы по резюме от Bing AI

Почему Amazon CodeWhisperer - лучшая бесплатная альтернатива для GitHub Сopilot

Что такое Amazon CodeWhisperer?

Как работает Amazon CodeWhisperer?

Почему Amazon CodeWhisperer лучше GitHub Copilot?

Как начать работать с Amazon CodeWhisperer?

Заключение

Команды docker save/load, docker export/import – в чем отличие, как и когда ими пользоваться

Команды docker save и docker load

Команды docker export и docker import

Заключение

Сколько докер занимает места на машине и как его "почистить"

Шаг 1. Анализ использования докером дискового пространства

Шаг 2. Автоматическое удаление неиспользуемых докером артефактов

Шаг 3. Чтобы еще такого удалить? Лайфхаки

Удаление докер-имиджей по шаблону

Удаление всех докер-контейнеров

Как посмотреть забытый пароль к WiFi при помощи командной строки Windows

docker swarm leave vs docker node rm

Виртуальная машина QEMU с Linux (Ubuntu) на Windows 10

Шаг 1. Устанавливаем QEMU

Шаг 2. Прописываем QEMU в переменные окружения

Шаг 3. Включаем Windows Hypervisor Platform

Шаг 4. Скачиваем iso-файл дистрибутива Linux

Шаг 5. Создаем виртуальную машину

Шаг 5. Устанавливаем Ubuntu

Шаг 6. Запускаем виртуальную машину

Инсталлируем Linux на MacOS при помощи QEMU

Что такое QEMU

Если тексту с картинками вы предпочитаете видео, то вот мой обзор QEMU на YouTube.

Устанавливаем QEMU

Дополнительное приседание на Big Sur

Создание виртуальной машины с Ubuntu 20.10

Установка Ubuntu

Запуск Ubuntu

Как запустить Linux GUI приложения из докер-контейнера

Отладка сборки докер-имиджа

Отладка Node.js приложения в докер-контейнере

Шаг 1. Запускаем NodeJS в режиме отладки

Шаг 2. Открываем доступ к порту

Шаг 3. Настраиваем VS Code и запускаем отладку

Что можно сделать еще

FROM node:14-alpineWORKDIR /node-appRUN npm install -g foreverCOPY package.json .RUN npm installRUN mv /node-app/node_modules /node_modulesCOPY . .CMD [ "forever", "-w", "app.js" ]EXPOSE 8080

Play with Docker (PWD) - докер в твоем браузере

Итак, краткий перечень того, что позволяет Play with Docker

Для чего может быть полезен Play with Docker

Health Check для докер-контейнера

Как включить health check для докер-контейнера

Автоматический перезапуск «проблемного» докер-контейнера

Azure Static Web Apps - еще один способ бесплатного хостинга статического веб-сайта

Azure Free Account

Деплоймент веб-сайта

Что можно сделать еще

Итог

Хостинг статического веб-сайта на Azure Storage, о котором должен знать каждый фронтенд-разработчик

Что такое статический веб-сайт

Azure Free Account

Делай Раз. Создаем Azure Storage Account

Делай Два. Включаем опцию Static website для созданного Storage Account

Делай Три. Заливаем веб-сайт на Azure

Как удалить статический веб-сайт

Сколько это стоит?

Что можно сделать еще?

FROM node:14-alpine

WORKDIR /node-app

RUN npm install -g forever

COPY package.json .
RUN npm install
RUN mv /node-app/node_modules /node_modules

COPY . .

CMD [ "forever", "-w", "app.js" ]

EXPOSE 8080