Матрица информационных технологий

Что вам разрешено делать

2023-11-27T18:47:00.002+03:00

Вставил сюда этот перевод, поскольку показался интересным.

Это список вещей, которые вам разрешено делать, но которые, как вы думали, вам не по силам, или о которых вы даже не подозревали.

Я не перепробовал все из этого списка, в основном из-за стоимости. Но вы были бы удивлены, насколько дешево большинство вещей из этого списка (особенно бесплатных).

Обратите внимание, что вы можете заменить “нанять” или “купить” на “обменять на” или “найти руководство по изготовлению своими руками” почти везде ниже. Например, вы можете убрать ванную в обмен на то, что ваш сосед по дому проведет пару часов за вас.

Дальше »

На работе все идет не так, я страдаю, что делать?

2023-03-03T13:56:00.004+03:00

Иногда ребята в команде делятся наболевшим. Тупят клиенты, контролирующие органы выпускают кривые обновления, коллеги из других команд хотят переложить на тебя ответственность, бизнес-логика слишком сложная. Все это больно, хочется поделиться, снижается мотивация. При этом не хочется, чтобы твоя команда страдала и демотивировалась.

Дальше »

Что изменилось за последние 10 лет в Контуре?

2022-08-12T22:32:00.004+03:00

Уже почти 10 лет работаю в компании СКБ Контур и изменения произошли грандиозные. Попробую перечислить то, что вспомню. Перечисленные факты есть в публичных источниках, так что не раскрою коммерческой тайны. Также предупрежу, что данный текст не является официальным сообщением от лица компании. Итак, поехали.

- Размер компании вырос с 2 тыс до 10 тыс.

- Основным языком программирования был C#, но сейчас уже есть целые отделы, которые пишут на Java, Python, Go.

- Открылось направление Data Science для решения задач анализа больших даных, распознавания изображений и звука, предсказания поведения.

- Многие внутренние проекты выводим на внешний рынок. Например, https://kontur.ru/talk

- Освоили различные сервисы и базы данных. Например, ElasticSearch, PostgreSQL, MongoDB, Cassandra, Kafka, Redis, Rabbit, Graphite, ClickHouse, Redash. По некоторым сервисам есть централизованная техподдержка, позволяющая быстро внедрять их в проекты.

- Создание стартапов внутри компании поставлено на поток. Создано множество успешных продуктов внутри компании.

- Открыты новые офисы разработки в городах: Ростов На Дону, Казань, Иннополис, Пермь, Питер, Самара,

- Научились работать с удаленными сотрудниками. Есть сотрудники, работающие в других странах.

- Внутренние сервисы развиты на высоте. Есть своя мощная система деплоя и орекстрации. Системно решены проблемы сбора метрик по сервисам, логгирования, трассировок запросов.

- Разработана система грейдов для сотрудников, чтобы системно принимать решение о назначении зарплаты.

- Создана своя система UI-котролов для быстрого внедрения единого дизайна в продукты.

За что платить деньги программистам?

2021-01-06T13:57:00.000+03:00

Сейчас у нас в компании уже порядка 1000 человек занимаются созданием программ. И как в любой большой компании возникает вопрос как оценивать разработчиков. Кому платить больше, кому меньше? Задались этой проблемой уже давно, но процесс грейдов постоянно развивается и каждый раз руководство делится этим на разных конференциях. Пример. Так что не нарушу коммерческую тайну, если тоже порассуждаю в своем блоге об этом. Сразу скажу, что я не являюсь официальным представителем компании и мое мнение может отличаться от официальной.

Хотелось бы, чтобы определять было не слишком сложно, но и при этом оценка была сравнимой. Приставил линейку к человеку и сразу понял: это мидл или ведущий. Но одной линейкой не измерить. Можно выделить две крупных линейки: техника и человек. Техника - это высокая техническая сложность, просто большой объем логики в приложении, техническая эрудированность. Люди - это умение повышать продуктивность людей, мотивировать, организовывать, вести переговоры.

С одной стороны кажется, что работа с людьми - это не про программистов. Зачем программиста заставлять работать с людьми, если можно за меньшие деньги нанять менеджера и он все организует. Проблема в том, что такой менеджер должен тоже должен быть частично технарем. Иначе он не сможет понять программистов, программисты не будут его слушать, смотреть как на тупого. Поэтому такие люди нужны как смазка, которая заставляет крутиться шестеренки.

Другая идея в грейдах - это мультипликативность. Если человек умножает свои знания через других, то такое должно бцениться больше. Ты научился делать что-то более эффективно на 5%. Ты научил 99 человек. Теперь твои проценты умножились на 100. Как будто ты научился что-то делать эффективнее не на 5%, на на 500%. Чем авторитетнее человек среди других, тем более он ценнен.

Если на мультипликативность смотреть еще более широко, то можно сказать: на сколько широко твое сознание. Ты осознаешь только то, что ты делаешь в конкретный момент или всё что ты делаешь, делаешь исходя из интересов целого проекта или целой компании? Ты можешь не быть ответственным лицом, но можешь работать так, чтобы приносить максимальную пользу исходя из глобальных целей.

Чем выше грейд программиста, тем шире у него сознание, тем меньше его я. Деньги должны даваться тем людям, которые больше отдают, причем дают это эффективно. Важно при этом отдавать не интенсивным путем, вкладывая в работу как можно больше сил, а делать более правильные вещи.

Применяя это правило широты сознания можно наложить шкалу каждую линейку и подлинейку. Чем больше крупных задач ты сделал, чем на больших людей ты повлиял - тем ты круче. Но не так все просто.

Получается, что не решается проблема адекватности оценки. Если ты хорошо проявил себя в одном проекте, не значит, что ты хорошо проявишь себя в другом проекте. Если оценивать знания, то знания довольно многомерны. Разные знания нужны в разных проектах. Ты можешь много знать, делать качественно, но результат работы у другого программиста может оказаться коммерчески успешнее. В целом невозможно оценить полностью адекватно. Поэтому остается полагаться на какие-то простые модели и жить не всегда честно. Так устроен наш мир.

Высокие нагрузки для начинающих

2020-07-20T22:02:00.002+03:00

Что такое высокие нагрузки? Это нагрузки, когда система, созданная на стандартных технологиях не справляется и нужно осуществлять уже не наращивание мощностей компьютера, а что-то качественно менять. Какие технологии применяются для высоких нагрузок?

Балансировщик нагрузки

Вот вы запускаете веб-сервис и ему нужно справляться с большим количеством запросов. И вот он в какой-то момент перестал справляться. А давайте добавим второй сервер - возникает мысль. А как запросы будут попадать на эти сервера? Есть решение - сервис Nginx, созданный давным давно русским разработчиком. Этот сервис устанавливают на отдельный сервер и он принимает от клиентов запросы и передает дальше. Есть множество других альтернатив, но Nginx стал уже стандартом де-факто и у нас в компании он используется повсеместно. Наши сервисы работают для всей России и этот маленький балансировщик прекрасно справляется. Как он распределяет запросы? Довольно распространенным подходом является Round Robin, когда для каждого нового запроса выбирается следующая реплика. Когда доходим до конца списка - начинаем сначала. При таком подходе у некоторых разработчиков возникает желание реализовать прилипание пользователей к репликам, чтобы использовать кеширование внутри реплик. Но сейчас прилипание считается плохим подходом и не рекомендуется. Nginx сейчас также используется не только для балансировки, но и просто как веб-сервер, являясь альтернативой для Apache Web Server. Долгое время для хостинга стандартным стеком был LAMP (linux-apache-mysql-php). Сейчас вместо apache многие используют nginx.

Балансировка балансировщиков

У вас возможно возник вопрос - но все равно же балансировщик упрется в производительность? Как работает Яндекс и Гугл? Для этих целей пользователям выдаются разные IP-адреса по одному и тому же имени. Этим уже занимаются DNS-сервера, которые определяют какой IP-адрес соответствует доменному имени. Тут также можно использовать подход RoundRobin, выдавая последовательно IP-адреса или можно основываться на географическом положении пользователя и таким образом выдавать адреса тех серверов, которые ближе географически.

Микросервисы

Довольно модной темой было разделение приложения на микросервисы. В чем удобство?

- Каждый сервис можно независимо развертывать (устанавливать на сервера, deploy)

- Микросервисы могут разрабатывать разные команды.

- Если микросервис ломается, то он не ломает все остальные (как правило).

- Помогает изолировать проблему потребления ресурсов. Вы сразу видите, кто потребляет CPU или память.

В настоящее время появилось большое количество противников микросервисов, поскольку за всё нужно платить.

- Сетевые запросы между сервисами - дорогое удовольствие. Они замедляют вашу систему.

- Сложно находить причину аварии без каких-то дополнительных инструментов. Вы видите ошибку, но не видите полной цепочки из-за чего ломается.

- Ваше приложение может быть разделено на микросервисы, но при этом все равно иметь сильную связанность (high coupling). Некоторые считают, что на одну базу данных должен быть один микросервис и скорее всего у вас такого нет.

- Вы все равно при развертывании обновляете все свои сервисы, поскольку так проще и надежнее.

- Вы все равно разрабатываете все свои сервисы одной командой разработчиков.

Очередь задач

Другим подходом решения проблемы высокой нагрузки является очередь задач. Она применяется для выполнения длительных операций. Например, для конвертации картинок, шифрования, построения отчетов. Применяется, когда нет необходимости отвечать сразу же. Вы выполняете запрос на операцию, вам сервер выдает ID задачи и потом через некоторое время вы по ID проверяете, готова ли задача. Все задачи складываются в очередь и исполнители задач постепенно разгребают задачи в n потоков. Сервисы, реализующие очереди, достаточно умные и не дают одну и ту же задачу разным исполнителям (если все работает стабильно). Такой подход помогает справиться с большим потоком задач.

В нашей компании прижились сервисы RabbitMQ, Kafka и очередь сообщений собственной разработки.

Кеширование

Когда вы часто обращаетесь к одним и тем же данным, стоит их сохранять в памяти. Но мы помним, что реплика сервера может оказаться где угодно, каждый новый запрос не привязывается к одной и той же реплике и локально в памяти реплики может получится не эффективно сохранять, поскольку мало вероятно, что сохраненное значение будет востребовано. Распространенной практикой является использование выделенных сервисов для кеша. Например, Redis или Memcache.

Шардирование

По мере роста базы данных вы можете упереться объем дискового пространства. Вы можете наращивать диски на сервере, но и это может закончиться. Чтобы хранить данные на множестве серверов применяется механизм шардирование. Как это может работать? Например у вас 10 серверов и вам нужно хранить на них пользователей. Вы вычисляете из UserId хеш-функцию от 0 до 9 и сохраняете пользователя на соответствующий сервер.

Также не нужно забывать о репликации данных и на каждый сервер добавьте еще по 1-2 реплики для надежности.

NoSQL

NoSQL базы данных как правило имеют очень сильные ограничения по возможностям выборок данных и по структуризации данных по сравнению с SQL-базами данных. Но они решают проблему производительности. Также из коробки может идти решение по шардированию данных, чего обычно нет в SQL-базах данных.

Например, в нашей компании широко распространено использование Cassandra. Она имеет высокую скорость записи данных, имеет встроенное шардирование, но есть проблемы с частыми изменениями данных и имеет очень сильные ограничения по функциям.

При использовании NoSQL распространен подход денормализации данных, когда одни и теже данные дублируются в разных структурах, чтобы сократить время выборки.

CDN

Для новостных сайтов и других, которые находятся под постоянной высокой нагрузкой есть решение, которое называется Content Delivery Network. Статические файлы веб-сайта, а именно стили, HTML и Javascript (сейчас уже модно весь код сводить только к Javascript) можно сохранять в отдельном сервисе сторонней компании. В нашей компании я не слышал, чтобы использовались такие сервисы. Видимо, потому что у нас не такие высокие нагрузки.

Особенности удаленной работы

2020-05-20T18:41:00.000+03:00

На текущей работе продолжительный период пришелся на участие в распределенной команде. Мы пробовали работать с Казанью, в итоге почти вся наша казанская часть уволилась. Мы пробовали работать с Ростовым-На-Дону и у нас это получилось, теперь ростовский офис содержит множество команд. Потом вырос и казанский офис, но уже на базе других проектов. В итоге сформировалось понимание, с какими проблемами может столкнуться команда, работающая удаленно.

Сразу предупреждаю, что я не являюсь официальным представителем компании и мое мнение может отличаться от мнения руководства.
Дальше »

Работа с потоками в C#

2019-02-15T14:53:00.000+03:00

1. Начало работы

Обзор и ключевые понятия

C# поддерживает параллельное выполнение кода через многопоточность. Поток – это независимый путь исполнения, способный выполняться одновременно с другими потоками.

Программа на C# запускается как единственный поток, автоматически создаваемый CLR и операционной системой (“главный” поток), и становится многопоточной при помощи создания дополнительных потоков. Вот простой пример и его вывод:

Дальше »

Как работает реляционная БД

2019-02-15T14:41:00.001+03:00

Реляционные базы данных (РБД) используются повсюду. Они бывают самых разных видов, от маленьких и полезных SQLite до мощных Teradata. Но в то же время существует очень немного статей, объясняющих принцип действия и устройство реляционных баз данных. Да и те, что есть — довольно поверхностные, без особых подробностей. Зато по более «модным» направлениям (большие данные, NoSQL или JS) написано гораздо больше статей, причём куда более глубоких. Вероятно, такая ситуация сложилась из-за того, что реляционные БД — вещь «старая» и слишком скучная, чтобы разбирать её вне университетских программ, исследовательских работ и книг.
Дальше »

Специализация в разработке

2016-09-26T06:00:00.000+03:00

Специализацию в работе человечество изобрело уже давно и казалось бы это очевидный способ повышать производительность, но оказалось не все так просто в разработке программного обеспечения.
Дальше »

Цели компании

2015-11-21T07:28:00.000+03:00

В нашей компании ежегодно происходит общее собрание, куда приглашаются только избранные и где озвучиваются цели компании. Все это с пафосом транслируется на всю компанию. Я задумался, на сколько эффективны эти цели. Например, цель в том, чтобы в каждой компании в России пользовались нашими продуктами. Предположим, что эта цель воплотилась в жизнь. Кому станет лучше от этого? Программист, который пишет программу будет продолжать получать точно такую же зарплату. Сотрудник, которого наняли на испытательный срок, и которого уволили через три месяца, будет чувствовать, что стало лучше? Вовсе нет. Во время транляции этого собрания, один сотрудник написал, что он обнаружил один плюс от собрания: ему достались плюшки, которые обычно съедаются через несколько минут, как только они появляются на кухне.
Или, например, можно поставить цель заработать в два раза больше денег. Да, будет узкая группа лиц в компании, которые почувствуют от этого выгоду. Для остальных жизнь никак не изменится. Компании не выгодно платить рядовому сотруднику значительно больше, чем средняя зарплата на рынке. Например, я задерживаюсь после работы. Жена и дети спрашивают, зачем? Как мне ответить? Чтобы поднять зарплату директора в два раза больше?
Для того, чтобы решить эту непростую проблему, существуют цели, которые называются миссиями компаний. Например, миссия IKEA "Улучшение повседневной жизни каждого". Миссия Google: "Удобно организовать всю информацию в мире и сделать ее доступной и полезной каждому". Чтобы усилить мотивацию всех сотрудников в компании, ее цели должны строиться вокруг миссий. Миссия должна нести добро не одной отдельной компании, а вообще всем. Если такой миссии нет, то компания не станет лидером.

Ох, как же тяжело быть программистом?

2015-04-03T23:16:00.000+03:00

Недавно прочел статью Ох, как же тяжело быть программистом и задумался, а на самом ли деле мне тяжело живется? Давайте разберем все тезисы.
Как бы ты не старался, тебе потом будет стыдно за этот код и даже будет хотеться переписать.

Дальше »

Второе внимание облегчает понимание

2013-06-28T23:25:00.000+04:00

Сильвио Мануэль улыбнулся, понимая мою проблему. Он сказал, что требуется огромная сила для того, чтобы освободиться от намерения повседневной жизни. Тот секрет, который он только что открыл мне, состоял в том, как отходить от такого намерения. Чтобы выполнить то, что он сделал, нужно перенести свое внимание на светящуюся оболочку.

Карлос Кастанеда Дар орла

Любые мероприятия по разработке сайтов, коллективные блоги, книги по менеджменту Software Development содержат статьи и мысли о том, что нужно мотивировать сотрудников, писать код качественно и быстро, зарабатывать больше денег. Другими словами, копать глубже, кидать дальше. Почему так остро стоит проблема мотивации?

Дальше »

Архитектура высоконагруженной системы Диадок

2013-06-28T23:13:00.000+04:00

Размещаю здесь статью, которую когда-то писал для Хабра, чтобы не потерялась.

Те, кто интересуется highload-системами, читали про архитектуры Twitter, Facebook и прочие другие. Но никогда еще не было публикаций о системах такого класса, как Диадок. В отличие от Twitter, эта система не является бесплатной и доступной всем и содержит довольно большой слой бизнес-логики, предназначенной для решения задач из конкретной предметной области.

Дальше »

Что нужно делать, чтобы удержать людей?

2013-04-13T22:14:00.002+04:00

Прочитал недавно презентацию от Github про найм и вывел для себя интересные мысли.

Замена сотрудника на нового - это очень дорого для компании. Это

2 недели поиска
2 месяца интервью
3 месяца, пока сотрудник начнет продуктивно работать

Дальше »

Как организовать разработку крупных проектов

2013-03-04T23:49:00.001+04:00

Компания, где я работаю, разрабатывает крупные проекты. В некоторых направлениях компания занимает если не лидирующие позиции, то является крупным игроком на рынке. Программного кода очень много. Во время работы в среде разработки может быть открыто пожалуй несколько сотен проектов. Около сотни проектов являются запускаемыми приложениями.

Все очень круто, все очень сложно. Чтобы справляться со всем этим хозяйством компания нанимает лучших программистов. Поиск умов производится не только среди специалистов с опытом, но также среди студентов. Нужны только лучшие сотрудники, только вперед.

Дальше »

Церковь святого аджайла

2013-01-27T20:16:00.003+04:00

Недавно просмотрел видео про аджайл. Автор явно в теме, но в самой теме явно есть проблемы. Автор почему-то говорит, что об аджайл говорят последние несколько лет. В действительности, аджайл уже использовали в Удмуртии в 2001-м году. Странно, что далекой от центра Удмуртии уже знали об аджайл, а в Москве стало слышно только последние несколько лет. Наверное, для автора будет сюрприз, что инкрементальные способы разработки были известны еще в 1957 году, а сами методики SCRUM, RUP и XP были разработаны в девяностые.

Дальше »

Сказки про программистов

2013-01-10T06:58:00.001+04:00

1. Жил-был программист. Работал он в одной компании, видел как многие другие программисты меняют работу. И вот он тоже искал, искал работу и нашел. Зарплата была большая, но все что-то не устраивало. То под кондиционером посадят, то поругают зря, то профессионального развития нет. Мучился он мучился и перешел работать в другую компанию с меньшей зарплатой. А все потому, что не в деньгах счастье, но важно то, что вы делаете.

Дальше »

Новая работа в СКБ Контур

2012-12-01T16:19:00.000+04:00

Сегодня вроде закончился обычный день, но в понедельник будет уже все по-другому. Я уже не пойду на работу в ЦВТ, а пойду на работу в совершенно другую компанию, которая называется СКБ Контур. Ощущение смены работы в данном случае чем-то напоминает, когда человека вытаскивают из теплой постели и отправляют идти на работу. Вы не подумайте, в ЦВТ на работу я ходил, но эта работа уже стала настолько привычной, что смена работы - это как небольшой стресс.

Дальше »

Сумерки ООП

2012-11-18T09:15:00.001+04:00

Объектно-ориентированное программирование стало в настоящее время почти стандартом программирования, в вузах принципы ООП являются обязательными для изучения. 10-15 лет назад все только и говорили об ООП, потом появились паттерны проектирования, основанные на ООП. Знать паттерны считалось довольно крутым достижением.

Но сейчас в англоязычном интернете появляются статьи, направленные против ООП. Про паттерны проектирования больше никто не вспоминает, больше говорят про паттерны кода в конкретном языке программирования, либо про паттерны, не связанные с ООП. В советах, начинающим программистам больше не встречаются принципы SOLID. Давайте разберемся, а в самом ли деле ООП так нужно?

Дальше »

Каким должен быть менеджер проектов?

2012-11-08T19:00:00.000+04:00

В последнее время организуются семинары, выездные конференции на тему менеджмента в IT-организациях. Я лично на такие мероприятия не хожу, поэтому немного пофантазирую на эту тему.

Дальше »

Как я люблю программировать

2012-10-24T08:34:00.001+04:00

На работе основное время я трачу на программирование. Программирую я с 16-ти лет и программирование стало неотъемлемой частью моей жизни. Все по-разному программируют и относятся к работе. Здесь я хочу описать, как это делаю я и получить отзывы о том, как это делаете вы и как относитесь к своей работе.

Дальше »

Об информатизации школ

2012-09-28T18:30:00.000+04:00

Недавно встречался с директором школы, где учится мой старший сын. Узнал, какая информатизация грядет в школах. Сейчас из Москвы спускают приказ об обязательном использовании электронных дневников. Как обычно у нас бывает, хотели как лучше, получилось как всегда. Какие тут получаются проблемы?

Повышенная нагрузка на учителей, которые и так загружены работой, чтобы хоть как-то поддерживать уровень зарплаты на нужном уровне.
Как практика показывает, учителя не успевают своевременно вводить оценки в компьютер и оценки быстро теряют актуальность. Таким образом для родителей выгоды тут довольно мало.
Федеральные ресурсы для электронных дневников решено не использовать, таким образом вместо того, чтобы решить проблему глобально по стране, каждый регион тратит время и деньги локально.
Электронные дневники - это большие затраты на сервера и обслуживание. В каждом классе планируется установить компьютер для ввода данных. На каждую школу государство выделяет отдельный сервер.
Школа не может отказаться от введения электронных дневников, поскольку это приказ свыше.
Все эти затраты похожи на очередной распил бабла нашими чиновниками.

В итоге, я считаю, это еще очередной повод задуматься, за кого голосовать на ближайших выборах.

Как оценивать срок разработки

2012-09-10T23:05:00.000+04:00

Многие компании создают программы и сайты на заказ и всегда очень остро стоит вопрос, как оценить, сколько времени уйдет на ту или иную работу. Я решил собрать несколько правил, которые могут помочь в оценке.
Дальше »

Найм. Вы все делаете так?

2012-08-04T08:24:00.000+04:00

Недавно читал статью бывшего сотрудника Яндекса, Ивана Сагалаева, который сейчас работает в Штатах, которая называлась Найм: вы всё делаете не так. Также недавно услышал историю, как одна большая компания А хотела переманить ведущего программиста из другой компании Б размером поменьше. После часового собеседования в компании А, они с гордостью заявили, что этот ведущий программист не соответствует их уровню требований и может работать только как начинающий программист и не в коем случае не может быть ведущим. Интересно, а в самом ли деле компания А делала найм правильно?
Дальше »

Слоу веб

2012-06-18T13:22:00.000+04:00

Недавно наткнулся на статью в ленте новостей ycombinator, которая называлась The Slow Web. Перевести ее как медленный веб было как-то не логично. Медленный веб ассоциируется с медленным соединением, тут же вспоминается ролик "ни единого разрыва". Неужели автор хочет разрывов? В действительности статья совсем про другое.
Дальше »