«Я не считаю, что человеческий интеллект — это нечто такое, чего люди никогда не смогут понять». Джон Маккарти, март 1989 г.

Сегодня исполняется 97 лет со дня рождения Джона Маккарти, одного из людей, которые изменили весь информационный мир. Даже Джон Коннор существует только благодаря Джону Маккарти, ведь именно он придумал само понятие «искусственный интеллект», а драмы в его жизни хватало. Он внёс огромный вклад в развитие робототехники и многие другие системы, например — в распознавание речи. Отдавая дань памяти Джону мы сделали для вас, дорогие читатели, аудиоверсию статьи по старинке, без использования искусственного интеллекта.

Джон Маккарти имел классические американские корни, что логично, ведь он родился 4 сентября 1927 года в Бостоне, в семье ирландского эмигранта и литовки еврейской национальности, тоже переселившейся в США, правда… они ещё были активистами коммунистического движения, так что наша логика начинает несколько страдать. Отец Джона была убеждённым католиком, рыбаком и плотником, а также организатором профсоюзных движений, что стало причиной частых переездов семьи. Мать, профессиональная журналистка, сначала перешла с уровня федерального на уровень коммунистической газеты, а потом ушла в соцработники.

Сам Джон своё ранее увлечение наукой прямо связывал с политическими убеждениями своих родителей. Его любимая книга – совершенно обычная и знакомая многим из нас «100 000 почему» М. Ильина (это псевдоним, настоящее имя писателя – Илья Яковлевич Маршак, он брат Того Самого Маршака). С учётом того, что дело происходило в 1930-е гг. в США, ситуация несколько удивляет. Сам Джон уже ближе к старости отметит: «Я как-то недавно читал про одного китайского не по годам развитого ребёнка, который тоже читал 100 000 почему».

Сам Джон в многочисленных интервью практически не уделяет внимания своему детству, да и вспоминает себя как «рядового школьника», только этот «рядовой школьник» ещё в старших классах получил копии учебников по матанализу, которыми пользовались в Калифорнийском технологическом университете студенты первых двух курсов. Когда он туда поступил, обучение по этим предметам сразу началось на уровне третьего курса. Однозначно «типичный школьник».

❯ Путь к знаниям через страх

В 1948 году случилось одно из значимых событий в жизни Джона Маккарти. Он перешёл в аспирантуру Принстона и посетил симпозиум Хиксона по мозговым механикам (полное название – Hixon Symposium on Cerebral Mechanisms and Behavior). Само мероприятие могло не сохраниться в человеческой памяти, если бы не первая встреча Джона Маккарти и Джона Фон Неймана. Маккарти никогда не был учеником Неймана в привычном нам смысле. В то же время они изредка работали вместе.

Удивительно, но даже для гениев характерны страх и сомнения в себе. Джон Маккарти вспоминал, что он, будучи молодым аспирантом Принстона, пришёл к Нейману в Институт перспективных исследований и поделился с маэстро своими задумками – реакция, в целом, была очень положительной. Джон фон Нейман указал, что нужно учесть для дальнейшей проработки… а Джон Маккарти подумал и решил, что идеи для этого недостаточно хороши. И не стал их записывать. Спрашивается, зачем тогда ходил? Спустя годы сам Маккарти прямо скажет: «Это было глупо с моей стороны». Глупости он в целом любил. Например, прогуливал физкультуру настолько, что оказался в армии США, и лишь в 1948 году закончил учёбу.

Ранние идеи Маккарти были сложны, модель, которую он разрабатывал и пытался объяснить фон Нейману, не могла быть грамотно сформулирована даже её автором. Джону потребовалось более девяти лет, чтобы опубликовать свои наработки, ведь его встреча с фон Нейманом состоялась в 1948 году, а публикация появилась только в 1959 году. В этой публикации Джон смог сформулировать, как заставить мозг изучать конкретные факты и математическую логику. Статья вышла под названием «Программы со здравым смыслом» и, как считал сам Маккарти, сыграла важную роль в начале логического искусственного интеллекта.

К моменту публикации данной статьи уже сложно было найти что-то общее между Маккарти и тем молодым и совсем неопытным Джоном, который был слегка придавлен авторитетом своего статусного коллеги. В 1951 году Джон получил свою Ph.D. в Принстоне под руководством Дональда Клайтона Спенсера, известного американского математика. Успел сам поработать и в Принстоне, и в Стенфордском университете и в 1955 году стать доцентом Дартмутского университета. Этот период в жизни Маккарти имеет особое значение. Именно там и в это время зародился искусственный интеллект.

❯ Дартмутская мастерская – кузница искусственного интеллекта

В прекрасном городе Ганновер (США) шёл летний исследовательский проект [Dartmouth Summer Research Project on Artificial Intelligence] с 18 июня по 17 августа 1956 года. Его второе название – Dartmouth workshop, Дартмутская мастерская. Важно не путать данное мероприятие с серией Дартмутских конференций, до старта которых ещё несколько лет.

К тому моменту сложилось множество названий для области «думающих машин», использовалось название «кибернетика», «теория автоматов», «сложная обработка данных» и ещё ряд названий. Своё название в эту плеяду решил внести Джон Маккарти, недавно ставший доцентом Дартмутского колледжа. Практически сразу после того, как он получил своё новое место работы, Джон начал собирать группу для работы над идеями о мыслящих машинах. Именно он выбрал новое название для области своих действий – «Искусственный интеллект».

Это был весьма изящный ход, ведь название новое, а значит мастодонтов, которых нужно было слушать с придыханием, несколько меньше. Так, к примеру, Норберт Винер, одна из величайших фигур кибернетики своего времени, был несколько отстранён. Похожая ситуация и с «маэстро теории автоматов», Джоном фон Нейманом, правда, ситуация Джона несколько отличается. На момент собраний он находился в тяжёлой борьбе за своё здоровье, которую выиграть было не суждено.

За спонсорством своей научной тусовки Джон Маккарти обратился в Фонд Рокфеллера. Всего планировалась оплата работы десяти учёных. Вместе с Маккарти был Клод Элвуд Шеннон, учёный весьма широкого профиля, специалист по криптоанализу, порой именуемый «Отец теории информации». Шеннон, без сомнения, достоин отдельной истории, где он будет главным героем, а пока он помогает Джону Маккарти найти деньги для организации семинара 1956 года. Двое учёных встретились с представителем фонда Рокфеллера, а уже 2 сентября 1955 года был официально предложен проект от четырёх человек: «О проведении двухмесячного исследования искусственного интеллекта с участием 10 учёных летом 1956 года в Дартмутском колледже в Ганновере, штат Нью-Гемпшир. Исследование должно основываться на предположении, что каждый аспект обучения или другая черта интеллекта в принципе могут быть описаны настолько точно, что можно создать машину для их имитации: «Мы считаем, что можно добиться значительного прогресса, если тщательно отобранная группа учёных проработает над ними вместе в течение лета». В дополнении к этому предположению стояли четыре фамилии: Джон Маккарти, Марвин Мински, Натаниэль Рочестер, Клод Шеннон.

Именно эту четвёрку наиболее корректно считать организаторами данного форума и сооснователями искусственного интеллекта. Их биографии сопровождали заявку, подтверждая тот факт, что они имеют право просить того, чего просят. Начинал Клод Шеннон, как самый влиятельный учёный из группы на тот период. Шеннону было 40 лет, и подчёркивал он в своей биографии работу над коммутационными схемами, проектирование обучающихся машин, криптографию и теоретические вычисления (машинами Тьюринга). Маккарти выделил среди своих заслуг работу по математической природе взаимосвязей между моделью мозга, его средой и использование языков машинами, которую Маккарти обсуждал с фон Нейманом в рамках представления его знаменитого доклада «Общая и логическая теория автоматов». Мински, товарищ Маккарти по учёбе, сделал упор на то, что «построил машину для моделирования обучения с помощью нейронных сетей», причём это была «не пустая болтовня», Мински настолько впечатлил Шеннона, фон Неймана и Норберта Винера, что они совместно рекомендовали его на должность в Гарварде. Последний из группы, Натаниэль Рочестер, был старшим инженером IBM и её менеджером по информационным исследованиям, управлял первым коммерческим научным компьютером от IBM. Кроме чисто управленческих функций Рочестер написал первый ассемблер в 1951 году, а к началу конференции работал над моделированием нейронных сетей.

У фото, которое вы видите выше, необычная история. Его нередко можно было встретить без упоминания Питера Милнера, который указывался просто как «один неизвестный». Дело в том, что его специализация существенно отличалась от остальных первопроходцев в ИИ. В своей книге 1999 года он прямо писал: «Меня пригласили на встречу компьютерных учёных и теоретиков информации в Дартмутском колледже. Большую часть времени я понятия не имел, о чём они говорят!» При этом работы самого Милнера сильно повлияли на раннее развитие искусственных нейронных сетей, ввиду чего он был приглашён на встречу совершенно заслуженно. Среди учёных существовал огромный интерес к изучению мозга и нейронов для воспроизведения функций и интеллекта.

В некотором роде это было уникальное собрание. Это не был классический исследовательский проект, у которого есть цель, задачи, некоторая структура. Это был огромный мозговой штурм, позволим себе назвать сие собрание «научным шабашем», который собрал весьма влиятельную плеяду специалистов. Вместо изначальных 10 учёных было 20 человек, которые прибывали на разные сроки, в основном небольшие.

Рэй Соломонофф вёл записки, они оцифрованы, благодаря им у нас есть ещё и полный список участников, т. к. свою копию Джон Маккарти умудрился потерять. Мы не смогли найти общее изображение участников встречи одновременно, так что попытаемся создать для наглядности несколько коллажей, которые охватят их всех.

Вторая достаточно известная проблема с фотографиями, когда вместо Тренчарда Мора (крайний портрет в нижнем правом углу на фотографии), размещают совершенно иного человека, в лучшем случае это будет Питер Милнер с первой групповой фотографии, в худшем – Луи Тренчард Мор, умерший больше чем за десятилетие до проведения собрания.

К сожалению, путанице неплохо так помог фильм от нетфликс «Закодированная предвзятость», куда закралась ошибка с определением личностей, и заметить которую смог только лично присутствовавший там Рей Соломонофф (о чём подробно написал у себя на странице, за что мы ему благодарны). Соломонофф, Мински и Маккарти – три человека, которые провели на «сборах» всё время проведения мозгового штурма.

Пытаться описывать процесс хаотичного общения гениальных учёных между собой – идея, которая обречена на провал. Сам Маккарти был очень пессиместичен и в 1979 году написал о своём детище: «Все, кто там был, были упрямы в стремлении следовать своим идеям, которые были ранее. Никакого реального обмена идеями не было. Люди приезжали на разные периоды времени, хотя изначальная идея строилась на том, что все согласятся приехать на шесть недель. Для меня это было большим разочарованием, потому что это действительно означало, что мы не могли проводить регулярные встречи.

❯ Краткие итоги, новые начала

Помните, что я говорил о молодом Маккарти, который болезненно переживал собственные (частично выдуманные) ошибки? Взрослый и серьёзный учёный от этого так до конца и не избавился.

При всём пессимизме Маккарти, как минимум появился сам термин «искусственный интеллект», который стал прямым результатом проведения конференции. Кроме того, в самый короткий срок после проведения мероприятия были созданы работы Ньюэлла, Шоу и Саймона по обработке информации (IPL) и их логико-теоретической машине (Moor, 2006).

Артур Сэмюэль в 1959 году ввёл термин «машинное обучение» и создал программу Samuel Checkers-playing, одну из первых в мире успешных программ самообучения. Селфриджа теперь часто называют «отцом машинного восприятия» за его исследования в области распознавания образов. Мы несколько забежим вперёд, но Мински получит премию Тьюринга в 1969 году за «центральную роль в создании, формировании, продвижении и развитии в области искусственного интеллекта». Ньюэлл и Саймон получили ту же премию в 1975 году за вклад в «искусственный интеллект и психологию человеческого познания». Во всех этих достижениях виден след встречи, о которой вспоминали практически все учёные, принявшие в ней участие.

Данная научная встреча не просто так вызывала столь много внимания, это была ступень, после которой изучение искусственного интеллекта было уже не остановить. И создал эту ступень Джон Маккарти, что бы он сам по этому поводу ни думал.

В том же 1958 году по итогам прошедшего мероприятия началась разработка ещё одной вехи периода искусственного интеллекта – языка программирования LISP (англ. List Processing language — «язык обработки списков»). Не станем подробно говорить о технической сути языка, на хабре есть соответствующая статья, ему посвящённая, отсылаем всех туда. Кроме того, есть статья самого Джона Маккарти от 1980 года «LISP – Заметки о прошлом и будущем». В этот же период он участвует в разработке Algol 60 и вносит в язык рекурсию и условные выражения.

Активная разработка LISP началась по окончании конференции, когда Маккарти, Ньюэлл, Сайман и Мински вдоволь наобщались. Маккарти взял у них идею обработки списков, однако они использовали язык IPL, который Маккарти иначе как «ужасным» не называл. Но другие господа не собирались от него отказываться. Не собирались, но отказались, ведь прогресс не стоит на месте. LISP взял у них идею обработки списков, а затем для формы языка взял в качестве модели Fortran. Кроме этого, появляется сборщик мусора, существенно облегчающий работу.

В 1959 году Джон Маккарти написал отчёт, в котором показывал LISP как универсальное вычислительное средство. Для этого он провёл сравнение с машиной Тьюринга, описание которой состояло из шести страниц текста, в то время как сам Маккарти управился в несколько строк.

❯ Как давать советы машине?

В этом маленьком промежутке 1958–1959 годов была создана и опубликована статья «Programs with Common Sense» [полный текст статьи доступен благодаря сайту Джона Маккарти]. Это была одна из первых попыток научить программу понимать математическую логику. Маккарти считал, что возможно давать советы программе, рассказывая о символическом окружении и том результате, который требуется. Для этого нужно научить программу широкому перечню непосредственных логических следствий всего, что ему говорят, и его предыдущих знаний. Ожидается, что это свойство будет иметь много общего с тем, что заставляет нас описывать некоторых людей, как обладающих здравым смыслом. «Поэтому мы будем говорить, что программа обладает здравым смыслом, если она автоматически выводит для себя достаточно широкий класс непосредственных следствий всего, что ей говорят, и того, что она уже знает».

Параллельно Маккарти работал над концепцией букв, в которой он существенно не соглашался с книгой Джерома Брунера «Исследование мышления». Ему не нравилось само понятие «концепции». Маккарти пытался обработать концепцию форм букв: выпуклая ли она? Есть ли в ней отверстие. Через огромный комплекс элементарных концепций можно было бы совершить необходимое множество элементарных комбинаций и создать алфавит, который можно обрабатывать. Однако это требует существенного теоретического понимания, ведь если взять букву, которая состоит из отрезка и трёх других отрезков, перпендикулярных первому, получиться может и заглавная буква «Е», и русская буква «Ш», различия будут лишь в угле поворота. Поэтому идея Маккарти может быть сведена к следующему: «Описание, а не дискриминация». Нужно не манипулировать имеющимися объектами, а максимально описывать те, которые требуются. Без этого не может быть работы робототехники, не может быть эксперимента. Хотя до активного включения в робототехнику ещё осталось несколько лет.

❯ Система разделения времени

В конце 1950-х гг. компьютеры становились существенно мощнее, но оставались при этом невероятно дорогими устройствами. Для предоставления возможности к равноценному использованию мощностей Джоном Маккарти была предложена система Compatible Time-Sharing System. Принял участие Джон и в создании BBN Time-Sharing System. Этот уникальный человек участвовал в разработке всех трёх первых систем разделения времени, в дальнейшем они перешли к облачным вычислениям. Джон инициировал эти разработки на самом раннем этапе.

При этом коллега Маккарти Фредкин говорил о том, что разделение времени вполне может быть реализовано даже на самом небольшом компьютере, например RDP-1: «Изобретение Джоном разделения времени и то, как он рассказывал мне о своих идеях, произошло до того, как появился PDP-1. Когда я впервые увидел PDP-1 на Восточной объединённой компьютерной конференции, я понял, что это идеальное недорогое средство для реализации идей Джона».

❯ Создание лаборатории искусственного интеллекта Массачусетского технологического института

Следующим шагом на пути неостановимого Маккарти стало создание Лаборатории искусственного интеллекта Массачусетского технологического института. О её создании Джон вспоминал весьма красноречиво, попробую передать вам этот эпохальный диалог в пересказе самого Маккарти. Обращаю ваше внимание, что Джон несколько иронизировал, допуская, что он не до конца достоверно передаёт ситуацию.

• Джон Маккарти (встречая в коридоре института своего товарища Марвина Мински): «Марвин! Нам нужна лаборатория для изучения искусственного интеллекта!».

• Марвин Мински: «Джон, это чертовски хорошая идея! Надо её реализовать!».

• Джон Маккарти: (встречая в том же коридоре Джерри Визнера, который был главой Исследовательской лаборатории электроники): «Эй, Джерри! Марвин и я хотим иметь лабораторию искусственного интеллекта!».

• Джерри Визнер: «Хорошо. Что вам нужно?».

• Джон Маккарти: «Нам нужна комната, и секретарь, и перфоратор, и два программиста».

• Джерри Визнер: «А как насчет шести аспирантов?».

• Джон Маккарти, Марвин Мински: «Да».

• Джерри Визнер: «Договорились, у вас будет ваша лаборатория».

Сей перфоманс был связан с тем, что непосредственно в тот момент MIT получил очень хороший контракт от Joint Services, и у организации были хорошие финансовые возможности. Денежные потоки делились между отделами свободно, а у «математиков» появилась потребность пристроить шестерых аспирантов для работы. Фактически случилось чудо, и Мински с Маккарти просто пришли и отобрали организационный вопрос у Джерри Визнера, который пытался придумать, как ему распределить неожиданно свалившиеся ресурсы. Джон Маккарти позже будет вспоминать, что такой подход его откровенно разбаловал.

В 1962 году Маккарти с некоторым приключением возвращается в Стэнфорд. В тот момент он бы доцентом кафедры коммуникационных наук на кафедре электротехники. Научная деятельность шла своим чередом, и совершенно неожиданно Джону Маккарти позвонил Джордж Форсайт из Стэнфорда. Этот человек был пионером компьютерной науки, подготовив 17 докторов наук, известных под названием «плеяда Форсайта», каждый из которых тоже подготовил множество выдающихся учёных.

Просто отказать такому человеку Маккарти не мог и сказал, что вернётся в Стенфорд только профессором. И это через год после того, как Маккарти стал доцентом. Наглость? Наглость! Но ведь это был лишь «вежливый отказ», Джон не думал о том, что его заберут. Но Маккарти был нужен Форсайту! Форсайт хотел свою кафедру компьютерных наук. При этом, как позже узнал Джон, Форсайт не был знаком с его научной деятельностью, они были из «разных сфер», но Маккарти сформировал свою репутацию, и она стала приносить деньги! Чертовски большие деньги!

Между Стэнфордом и MIT развернулась целая борьба за будущего профессора. MIT готов был поднять зарплату с 9 до 15 тысяч долларов, но не был готов дать Маккарти должность профессора, не предоставив такую же должность его товарищу Мински, с которыми их ставили в одну научную связку даже с учётом того, что они работали на разных факультетах. MIT даже готов был поднять Маккарти в должности до директора по исследованиям на факультете компьютерных наук, но, как вспомнит Джон, он чертовски не любил расчищать снег на подъездной дорожке и решил уехать в Стэнфорд, приняв их приглашение.

Новый отдел был достаточно солидным, хоть и небольшим. Сам Форсайт – числовой аналитик. Джон Маккарти, ещё один аналитик Джин Голуб. Вместе с ними был «монстр» научной деятельности в сфере информатики – Дональд Эрвин Кнут, которого тоже убедили перейти в Стенфорд, его «искусство программирования» уже в процессе.

На дворе был 1962 год, с тех пор до своего выхода на пенсию в 2000 году Джон Маккарти больше не покидал Стенфорд. Особым его достижением стало создание Стэнфордской лаборатории искусственного интеллекта, она же SAIL.

Работа этой лаборатории была связана с целым рядом компьютерных систем и новейшими достижениями робототехники. Началось всё с того, что Джон Маккарти работал над компьютером PDP-1, занимался разработкой системы разделения времени для BBN, о чём вы уже знаете. Маккарти запросил денег на создание лаборатории робототехники имея описания необходимых ему действий. Он стремился получить компьютер PDP-6, не будучи удовлетворённым компьютером PDP-1, и свою технику получил, вместе с новыми возможностями.

❯ Компьютерная партия Коток-Маккарти

Прежде чем перейти к работе лаборатории, нужно уделить внимание проекту который длился с 1959 по 1962 годы.

Это была одна из первых компьютерных программ для игры в шахматы, известная также под названием A Chess Playing Program for the IBM 7090 Compute. Эта программа известна тем, что играла свой первый матч между двумя компьютерными программами и проиграла его. Эту программу написала группа аспирантов Джона Маккарти: Элвин Берлекамп, Алан Коток , Майкл Либерман, Чарльз Ниссен и Роберт А. Вагнер. Они добавили альфа-бета-обрезку к minmax по предложению Маккарти, чтобы улучшить генератор правдоподобных ходов, и к 1962 году, когда закончили свою учёбу, смогли научить программу играть на уровне, «сравнимом с любителем, имеющим опыт около 100 игр».

В 1965 году Джон Маккарти посещает СССР и знакомится с компьютером М-2, в лаборатории Александра Кронрода в Московском институте теоретической и экспериментальной физики (ИТЭФ). Между компьютерами была начата шахматная партия по переписке. Советская сторона выиграла матч по переписке , который проводился по телеграфу в течение девяти месяцев в 1966-1967 годах. Программа Котока-Маккарти проиграла матч со счетом три к одному. Через год после игры Александр Кронрод потеряет свою должность (по одной из версий) из-за жалоб на то, что компьютерные ресурсы используются для создания игры. Возможно, «письмо 99» несколько ближе к его проблемам, но это точно другая история.

Маккарти же «свою» партию в шахматы выиграл и продолжил руководить своей лабораторией.

❯ Чем занималась лаборатория?

Синтезировала интеллект из видных учёных. Простите за каламбур, но ответить на такой простой вопрос достаточно сложно. Логичнее всего будет сказать, что она стала точкой концентрации широкого рода научной деятельности, важнейшим из которых стала робототехника. Там ковались именитые учёные. Например, Виктор Шейнман.

В 1962 году на базе исследовательской лаборатории началось создание робота. Изначально Маккарти хотел «полного» робота, но очень быстро понял, что ресурсы не позволяют в ближайшем будущем создать механически или программно полного робота. И интерес был перенесён на руку. В тот момент в лаборатории работал аспирант Виктор Шейнман, которого Маккарти именовал «гением». Он занимался проектированием механических рук. В 1965 году лаборатория купила компьютер PDP-6, после чего началось активное сотрудничество с Шейнманом. Удивительно, но роботизированные руки, которые изготавливались во время Второй Мировой войны, оказались никому не нужными, Джон вспоминал, что их просто бросили, и лаборатория начала полностью собственные разработки.

Первая рука, созданная Виктором, была гидравлической, пластиковые трубки под высоким давлением имели шанс создать полноценное орудие убийства в случае аварии. Из-за этого рукой никогда не пользовались, для неё было построено небольшое строение на территории. А использовались руки более слабые и намного более маленькие, которые работали на электричестве. При этом финансирование на них выбивал Маккарти. Первая рука была настолько сложной в управлении, что профессор Дональд Пипер в докторской диссертации назвал её целью «разбивание вещей» и рекомендовал определённые конфигурации связей, которые позволили бы упростить решения для руки.

В 1969 году была создана знаменитая Рука Стэнфорда, полностью электрическая, шестиосевой промышленный робот. Как и предрекал Дональд Пипер, робот существенно расширил сферу своего применения. Под управлением компьютера он научился следовать произвольным траекториям и освоил элементы сборки и дуговой сварки, он имел три оси запястья и тормоза на каждой оси, что облегчило управление при помощи компьютера с разделением времени. Шейнман создавал свои руки для других научных учреждений, среди которых Бостонский университет, SRI, MIT и т. д. Шейнман продолжал заниматься машиностроением вплоть до своей смерти.

❯ Shakey the Robot

В лаборатории было создано множество по-настоящему прогрессивных роботов, каждому из которых можно посвятить отдельную статью. Например, робот Шейки. На хабре есть про него достаточно подробная статья. Кроме того, имеется качественный видеоролик, основанный на архивных материалах, который мы также рекомендуем посмотреть, не углубляясь в тонкости робототехники.

Оригинальный видеоролик, с качественным архивным материалом, посвящённый созданию робота

Shakey показал, что фантастика не так уж далека от реальности. Во-первых, в отличие от Unimate, Shakey мог двигаться. Во-вторых, там, где Unimate должен был быть предварительно запрограммирован для выполнения определённой задачи, Shakey мог выполнять задачи, которые требовали от него динамического планирования, поиска маршрута и перестановки простых объектов. В-третьих, в отличие от Unimate, который не имел взаимодействия за пределами программистов, Shakey мог понимать около 100 слов письменного английского языка. Он переводил эти команды в код, так что непрограммисты могли заставить Shakey выполнить какую-то работу...

ЧИТАТЬ ДАЛЕЕ ↩ (без регистрации и СМС)

Материал получился достаточно объемным и все подробности, к сожалению, не влезли :(

Написано специально для Timeweb Cloud и читателей Пикабу. Больше интересных статей и новостей в нашем блоге на Хабре и телеграм-канале.

Хочешь стать автором (или уже состоявшийся автор) и есть, чем интересным поделиться в рамках наших блогов — пиши сюда.

Облачные сервисы Timeweb Cloud — это реферальная ссылка, которая может помочь поддержать авторские проекты.

📚 Читайте также:

• Нейросеть мне в помощь или как я сделал телеграм бота, который умеет переводить песни;

• Скрытая сила терминала или почему всем нужно уметь работать через командную строку;

• Редчайший открытый смартфон на Linux: Neo Freerunner. Каким был прадедушка PinePhone?.

Приветствую! В этой статье я бы хотел уделить внимание такой вещи как шифрование трафика на Linux системах. Наверное, каждый из нас прекрасно понимает, насколько важна защита нашей приватности. Ведь в эпоху, когда многие компании собирают данные, а иногда хакеры могут перехватить наш трафик, это становится особенно важно. Просто необходимо позаботиться о безопасности своих данных. Например, быть уверенным, что какая-либо корпоративная сеть не прослушивается злоумышленниками. Информационная безопасность сегодня — это не просто мода, а насущная необходимость. Постоянно растет киберпреступность, и защита трафика от перехвата — это основной аспект цифровой жизни человека или бизнеса.

Эта часть - вторая, первую вы можете прочитать по ссылке. А в этой части мы рассмотрим что такое прокси и какие типы бывают, что такое VPN, как устроено сквозное шифрование.

И соответственно, в этой статье не будет упоминаться то, про что я уже писал в первой. Начнем, господа присяжные заседатели!

❯ Прокси

Прокси-сервер — это промежуток между клиентом и сервером. Он обеспечивает скрытие IP-адреса, поэтому сторонним лицам намного сложнее отследить местоположение пользователя. Также он помогает настроить доступ к сайтам — например, к каким-то ограничить, или даже прослеживать и мониторить трафик пользователей. За счет кеширования данных страницы могут загружаться быстрее.

Прокси-сервер действует так:

Клиент -> провайдер -> прокси-сервер -> сервер

То есть провайдер знает, какой у пользователя IP и какой у него запрос, но сервер не будет знать пользовательский IP-адрес.

Прокси-сервер — это машина, которая содержит прокси IP-адреса.

IP-адрес прокси — это индивидуальный IP-адрес, который используется для сокрытия вашего реального адреса.

Прокси-сервер обрабатывает ваши запросы, но скрывает множество идентифицирующей информации. В ее числе исходный IP-адрес, геолокация, откуда пришел запрос, данные операционной системы (ОС) и многое другое. В общем, он помогает предотвратить легкое отслеживание вас третьими лицами. Работа прокси-сервера осуществляется на уровне приложений модели OSI (L7).

Существует много разных типов прокси, которые подразделяются по разным типам протоколов, анонимности, размещения.

Если говорить про типы размещения — то это банально централизованный и децентрализованный прокси. Тут все понятно — при централизованном типе прокси-сервера находится в одном центре, которые обслуживают сразу много клиентов, а при распределенном — прокси-сервера находятся в разных локациях, которое позволяет равномерно распределить нагрузку, и при случае падении одного сервера, другие прокси сервера останутся рабочими (а в централизованном типе с этим возникнут проблемы).

По анонимности и конфиденциальности уже поинтереснее. Есть прозрачный — никаких настроек, весь трафик с клиента сразу маршрутизируется на прокси. Данные пользователя не изменяются, IP-адрес не скрывается. Быстро, экономно но не безопасно. Противоположность прозрачному — анонимный. Он уже изменяет IP-адрес клиента, но он не скрывает, что используется прокси, и сайты могут понять, что клиент использует прокси, но не больше. Еще более безопасным считаются искажающие прокси — они меняют IP адрес в точности как и анонимный, но уже скрывают факт использования прокси, то есть сервер может понять что трафик идет через дополнительный шлюз, но сам клиент остается скрытый. И последний тип — это приватный. Полностью скрывают данные о пользователе и постоянно меняют IP-адрес подключения.

Ну и перед тем, как мы затронем тему типов прокси по протоколу, стоит также рассказать о том, что прокси также могут различаться и по уровню доступности:

• Публичные — открытые, бесплатные, но могут быть медленными, небезопасными и ненадежными. Если найти какой-то сайт с бесплатными прокси-серверами, то там будут именно эти с вероятностью 90%.

• Приватные — платные, но быстрее и безопаснее публичных.

• Выделенный — то есть уже целый высокопроизводительный сервер с выделенными ресурсами. Они позволяют настроить прокси, то есть например сделать возможность использования только одним клиентом или сделать черный список клиентов.

• Прозрачные — мы уже говорили, просто маршрутизация с порта клиента на порт прокси-сервера.

• Общие — то есть доступные определенной группе, например сотрудникам компании. Не так надежны как приватные, но обеспечивают баланс между доступностью и производительностью.

Прокси удобны, позволяют контролировать и мониторить трафик, а также могут обеспечить базовую анонимность. Стоит задеть тему различий с VPN:

1. Прокси это L7, самый высокий уровень сетевой модели OSI, когда как VPN — это L3 или L4.

2. В VPN могут использовать криптографические алгоритмы для обеспечения шифрования трафика и набор ключей.

3. Стоимость VPN обычно дороже прокси.

4. Прокси обычно быстрее VPN

А теперь наконец перейдем к типам прокси по протоколам.

HTTP

Данный тип прокси работает с HTTP-запросами. В основном для базового серфинга - то есть кеширования страниц, настройки доступа к сайтам. Основное применение он находит в корпоративных сетях, для ограничения сотрудников (самый простой пример — блокировка доступа к социальным сетям).

HTTP-прокси существует как звено в цепи между клиентом и сервером. То есть запрос от клиента идет не напрямую на сайт, а через прокси, который уже от своего имени отправляет запрос серверу.

HTTPS

Тоже самое, что и HTTP, но более безопасный. HTTPS гарантирует безопасное соединение между клиентом и сервером, защищает данные от сниффинга. В основном его используют когда важна безопасность и сохранность данных, а не просто веб-серфинг.

SSL

Мы уже обсуждали SSL/TLS протокол выше. Этот тип прокси сервера создает только одно TCP-соединение. В HTTP-proxy создается два соединения — от клиента к прокси и от прокси до сервера. Но SSL работает по другому: после запроса на сервер, прокси создает запрос подключения на сервер и создает TCP-канал.

Преимущество данного типа прокси в том, что его можно использовать как и для доступа к защищенным (HTTPS) и незащищенным (HTTP) серверам.

SOCKS

SOCKS — SOCKets Secure. Специальный протокол для работы с интенсивным трафиком, например потоковая загрузка/передача данных или для P2P.

SOCKS использует TCP соединение, то есть все пакеты гарантированно будут доставлены. При использовании этого типа прокси интернет-трафик маршрутизируется через прокси-сервер по TCP от имени клиента.

SOCKS, как большинство прокси, скрывает IP адрес клиента, гарантируя базовую конфиденциальность.

Установка прокси в несколько шагов

Здесь я рассмотрю прокси-сервер Squid и как его можно установить за пару шагов.

Squid — это один из самых популярных HTTP/HTTPS прокси-серверов с возможностью перенаправления и кэширования трафика. Он скрывает IP адреса клиентов, кэширует веб-страницы, да и в принципе довольно быстрый прокси...

ЧИТАТЬ ДАЛЕЕ ↩ (без регистрации и СМС)

Материал получился достаточно объемным и все подробности, к сожалению, не влезли :(

Написано специально для Timeweb Cloud и читателей Пикабу. Больше интересных статей и новостей в нашем блоге на Хабре и телеграм-канале.

Хочешь стать автором (или уже состоявшийся автор) и есть, чем интересным поделиться в рамках наших блогов — пиши сюда.

Облачные сервисы Timeweb Cloud — это реферальная ссылка, которая может помочь поддержать авторские проекты.

📚 Читайте также:

• 30 лет назад появилась свободная Unix-подобная OC… и это не Linux;

• История зарождения Linux — как это было?;

• Редчайший открытый смартфон на Linux: Neo Freerunner. Каким был прадедушка PinePhone?.

Привет, Пикабу!

В этой статье я хочу описать свой опыт разработки такого простого, но в тоже время самого используемого элемента «Умного дома». Речь пойдет о модуле управления освещением. Забегая вперед, хочу сказать, что данный проект был реализован еще в 2021 году, но в настоящее время потребовалась реализация еще одного модуля. Я решил совместить приятное с полезным, дополнительно обновить прошивку устройства и «перепроектировать» данный модуль с помощью современного ПО и само собой — поделиться с вами. Если стало интересно, то добро пожаловать под кат.

❯ Небольшая предыстория

Домашней автоматизацией я занимаюсь давно и застал те времена, когда еще не было доступных микроконтроллеров с беспроводной коммуникацией на борту (типа ESP8266), в основном использовались проводные решения на базе 1-Wire. И мой «Умный дом» не стал исключением.

Каждый начинающий «строитель» «Умного дома» понимает, что первым делом нужно научиться включать и выключать свет, чтобы эффектно удивлять друзей, управляя освещением со смартфона. В те времена это казалось магией :) Вот и я, закупившись на Алиэкспрессе поддельными двухканальными 1- Wire свичами DS2413P, решил реализовать управление светом. В итоге была собрана плата управления на базе купленных свичей и симисторным управлением нагрузкой. Данное устройство надежно проработало аж до 2021 года. Но летом того же года была жуткая гроза и по витой паре интернет провайдера прилетел мощный разряд, который унес в электронный рай сетевую карту сервера, USB 1-Wire адаптер, ну и плату управления освещением с эффектным взрывом симистора. Тогда я подумал, что пора завязывать с проводными решениями ибо гирлянда сгоревших устройств ни на секунду меня не радовала и я принялся за разработку беспроводного модуля управления освещением.

❯ Проектируем аппаратную часть

Условно мы можем разделить модуль на три сегмента:

• Система питания;

• Контроллер управления;

• Система силового управления.

При проектировании принципиальной схемы устройства будем придерживаться «золотого» принципа: чем проще — тем лучше, а значит — надежнее. Поэтому в качестве системы питания будет реализована схема на базе экономичного импульсного преобразователя напряжения LNK306GN, который доказал свою надежность временем и работой в аномальных условиях.

Краткая информация о LNK306GN:

LNK306GN — это понижающий преобразователь с наименьшим количеством внешних элементов.
Серия микросхем LinkSwitch-TN специально разработана для замены всех неизолированных источников питания с линейным питанием и питанием от конденсаторов в диапазоне выходного тока менее 360 мА при равной стоимости системы, обеспечивая гораздо более высокую производительность и энергоэффективность.
Устройства LinkSwitch-TN объединяют в монолитной IC силовой полевой МОП-транзистор с напряжением до 700 В, генератор, простую схему управления включением/выключением, высоковольтный импульсный источник тока, генератор частот, схему ограничения тока и схему отключения при перегреве.

В качестве «мозга» нашего устройства, будем использовать микроконтроллер от компании Espressif Systems ESP8266. А для силового управления нагрузкой, то есть нашими лампочками, будем использовать связку оптопары MOC3052M и симистора BT136-600. Почему не реле? — спросите вы, ну не люблю я реле, они щелкают и габаритные. Ниже можно видеть результат разработки принципиальной схемы устройства. Для разработки схем и печатных плат я использую открытое ПО KiCAD.

Принципиальная схема модуля:

Как я уже говорил ранее, источник питания реализован на высоковольтном импульсном преобразователе LNK306GN, который позволяет максимально упростить схему источника питания. На выходе источника формируется напряжение в 3,3 В, данное напряжение устанавливается обратной связью, которая организована с помощью резистивного делителя напряжения R4 и R5. Данная схема питания не имеет гальванической развязки с сетью, поэтому нужно обеспечить эффективную изоляцию платы для исключения поражения электрическим током. Первоначальный запуск устройства должен выполняться с последовательно подключенной нагрузкой (лампа накаливания 60 Вт) в цепи питания, чтобы исключить повреждения в случае ошибки при монтаже компонентов.

Трассировка платы:

Визуализация печатной платы:

Хочется добавить, что данная плата разрабатывалась с учетом современных реалий, здесь изменен форм-фактор микросхемы LNK306GN на SOP-7 в старой версии модуля используется тип корпуса DIP-7.

❯ Изготовление печатной платы

На тот момент, плата изготавливалась по канонам DIY, с помощью фоторезиста и фотошаблона. Но в настоящее время я пользуюсь для изготовления прототипов плат лазерным методом.

Активация фоторезиста с помощью фотошаблона:

Плата прототипа модуля после монтажа электронных компонентов:

❯ Разработка корпуса

Разработка корпуса устройства выполнялось в открытом ПОFreeCAD. Корпус довольно тривиальный и не содержит сложных элементов.

Визуализация корпуса с моделью платы:

Далее модель корпуса распечатывается на 3D принтере, в качестве материала печати используется HIPS пластик.

Устройство в собранном виде:

AirTag для сравнения габаритов устройства:

❯ Разработка прошивки и описание интерфейса

Разработка микро ПО устройства велась в средеArduino IDE, обновленная версия реализована на моей, ставшей уже базовой, прошивке для умный устройств. Для улучшения пользовательского опыта, в прошивке применены следующие технологии:

• Captive portal;

• Multicast DNS;

• MQTT Auto Discovery;

• SSDP.

Captive portal— это сервис, на который принудительно перенаправляется пользователь, который выполнил подключение к устройству. Данный сервис работает только в режиме «точки доступа» при первоначальной конфигурации устройства. При отсутствии сетевого соединения или при первоначальной настройке, устройство создает беспарольную точку доступа с именемCYBEREX-Light. При подключении к данной точке доступа, пользователь автоматически будет перенаправлен на страницу авторизации для выполнения первоначальной конфигурации устройства. Для конфигурации устройства необходимо ввести пароль по умолчанию "admin".

Ниже приведены несколько скриншотов веб интерфейса устройства.

Страница входа:

Главная страница с элементами управления:

Конфигурация обмена по MQTT протоколу:

Multicast DNS — данный сервис используется для поиска устройств по доменному имени в локальной сети без использования предварительно настроенного DNS сервера. Другими словами, пользователь может получать доступ к устройству без необходимости ввода IP адреса. Ниже пример использования данного сервиса, где доступ к устройству выполняется с помощью его локального имени 11395386.local.

Страница конфигурации управления устройством через API:

Как вы можете видеть на скриншоте, в устройстве реализован доступ управления каналами модуля по API. Данная функция необходима для прямого взаимодействия с устройством без посредников в виде MQTT сервера или системы «Умного дома». Эту функцию можно использовать для подключения беспроводных выключателей, пример реализации в одном из моих проектов:

Демонстрируемый беспроводной выключатель также реализован на ESP8266, в качестве элементов питания использует две батарейки формата ААА. Данный выключатель проработал уже три года на одних элементах питания, благодаря режиму DeepSleep.

А еще функция данного API применяется в моей «умной колонке» (статья первая,статья вторая) для управления освещением. Ниже пример кода для реализации прямого управления с помощью «умной колонки»:

Код управления по API | Python:

elif cmd == 'lightON':

try:

contents = urllib.request.urlopen("http://11395386.local/?page=status&apikey=UkFA7").read()

response0 = json.loads(contents)

if response0['c1'] == 'Off1' and response0['c2'] == 'Off2':

text = "Включила свет"

if response0['c1'] == 'On1' and response0['c2'] == 'Off2':

text = "Первый светильник уже включен, включила второй!"

if response0['c1'] == 'Off1' and response0['c2'] == 'On2':

text = "Второй светильник уже включен, включила первый!"

if response0['c1'] == 'On1' and response0['c2'] == 'On2':

text = "Свет уже включен! Но я могу выключить, если попросите!"

if response0['c1'] == 'Off1':

response2 = requests.get('http://11395386.local/?page=control&apikey=UkFA7&switch=1')

if response0['c2'] == 'Off2':

response2 = requests.get('http://11395386.local/?page=control&apikey=UkFA7&switch=2')

tts.va_speak(text)

except:

tts.va_speak("Сожалею, но возникла ошибка, попробуйте позже!")

elif cmd == 'lightOFF':

try:

contents = urllib.request.urlopen("http://11395386.local/?page=status&apikey=UkFA7").read()

response0 = json.loads(contents)

if response0['c1'] == 'Off1' and response0['c2'] == 'Off2':

text = "Свет уже выключен! Но я могу включить, если попросите!"

if response0['c1'] == 'On1' and response0['c2'] == 'Off2':

text = "Второй светильник уже выключен, выключила первый!"

if response0['c1'] == 'Off1' and response0['c2'] == 'On2':

text = "Первый светильник уже выключен, выключила второй!"

if response0['c1'] == 'On1' and response0['c2'] == 'On2':

text = "Выключила свет!"

if response0['c1'] == 'On1':

response2 = requests.get('http://11395386.local/?page=control&apikey=UkFA7&switch=1')

if response0['c2'] == 'On2':

response2 = requests.get('http://11395386.local/?page=control&apikey=UkFA7&switch=2')

tts.va_speak(text)

except:

tts.va_speak("Сожалею, но возникла ошибка, попробуйте позже!")

❯ Интеграция в «Умный дом»

Интеграция устройства в систему «Умного дома» реализована с помощью MQTT Auto Discovery.
MQTT Auto Discovery— сервис, позволяющий максимально упростить интеграцию нашего устройства в систему «Умного дома». В моем случае, в качестве системы «умного дома», я использую Home Assistant, поэтому сервис MQTT Auto Discovery адаптирован именно под неё. Ниже код реализации MQTT Auto Discovery в микро ПО устройства:

Код реализации MQTT Auto Discovery | С++:

void send_mqtt(String tops, String data, String subscr){

// Анонсируем объекты для Home Assistant [auto-discovery ]

// Анонсируем объекты один раз при успешном подуключении и при запуске устройства

// if(!annonce_mqtt_discovery){

mqqt_d_annonce("CL1", "c1", "On1", "Off1");

mqqt_d_annonce("CL2", "c2", "On2", "Off2");

mqqt_d_annonce("CL3", "c3", "On3", "Off3");

annonce_mqtt_discovery = true;

// }

// Отправляем данные

client.publish(tops.c_str(), data.c_str());

client.subscribe(subscr.c_str());

}

void mqqt_d_annonce(String namec, String cn, String on_d, String off_d){

String top = String(settings.mqtt_topic) +"/jsondata";

String control = String(settings.mqtt_topic) +"/control";

char jsonBuffer[1024] = {0};

DynamicJsonDocument chan1(1024);

chan1["name"] = namec;

chan1["state_topic"] = top;

chan1["command_topic"] = control;

chan1["payload_on"] = on_d;

chan1["payload_off"] = off_d;

chan1["state_value_template"] = "{{ value_json."+cn+" }}";

serializeJson(chan1, jsonBuffer, sizeof(jsonBuffer));

String top_to = "homeassistant/light/"+cn+"/config";

client.publish(top_to.c_str(), jsonBuffer, true);

}

После успешного подключения устройства к сети и настройки MQTT соединения, в «объектах» Home Assistant появятся объекты нашего устройства, пользователю останется только настроить карточку объектов на панели управления, чтобы иметь возможность управлять данным модулем. Ниже приведен пример кода карточки объектов:

Пример кода карточки объектов:

type: horizontal-stack

cards:

- show_name: true

show_icon: true

type: button

tap_action:

action: toggle

entity: light.cl1

name: Свет 1

show_state: true

hold_action:

action: more-info

- show_name: true

show_icon: true

type: button

tap_action:

action: toggle

entity: light.cl2

name: Свет 2

show_state: true

hold_action:

action: more-info

- show_name: true

show_icon: true

type: button

tap_action:

action: toggle

entity: light.cl3

name: LED

show_state: true

hold_action:

action: more-info

В результате карточка объектов будет выглядеть следующим образом:

Осталось упомянуть о последнем сервисе SSDP.
Чтобы как-то «повелевать» всем зоопарком моих умных устройств, был реализован данный сервис.

SSDP (Simple Service Discovery Protocol) — сетевой протокол, основанный на наборе протоколов Интернета, служащий для объявления и обнаружения сетевых сервисов. SSDP позволяет обнаруживать сервисы, не требуя специальных механизмов статической конфигурации или действий со стороны серверов, таких как DHCP или DNS.
Для моего удобства, я написал мобильное приложение, которое позволяет в три нажатия обнаружить и сконфигурировать устройство без лишних хлопот и похода в роутер. Ниже представлены скриншоты приложения, ссылка на приложение будет размещена в конце статьи.

Приложение для поиска устройств в сети:

❯ Использование аппаратного выключателя

Дабы не исключать классическую схему управления освещением с помощью обычного выключателя, который обычно встраивается в стену, в устройстве также реализован вход (J5) для подключения аппаратного выключателя. Данное решение позволяет без дополнительных переделок интегрировать модуль в существующую систему освещения.

❯ Итоги

Ну что ж, давайте подведем итоги. В итоге у нас получилось простое, но эффективное и относительно компактное устройство для управления освещением, с возможностью работы как в автономном режиме, так и в составе «Умного дома». Данное устройство разрабатывалось, прежде всего, для управления светодиодным освещением, но примененные силовые симисторы позволяют коммутировать осветительную нагрузку до 300Вт на канал, без ощутимого нагрева силовых элементов.

На этом можно и завершить статью. Надеюсь, мой опыт будет вам полезен. Если у вас есть замечания, предложения или вы хотите поделиться подобным опытом, то добро пожаловать в комментарии! Если статья вам понравилась, то поддержите её стрелочной вверх. Всем добра, здоровья и спасибо за внимание!

Ссылки к статье:

• Проект печатной платы;

• Исходный код прошивки устройства;

• Модель корпуса устройства;

• Мобильное приложение для поиска устройств.

Написано специально для Timeweb Cloud и читателей Пикабу. Больше интересных статей и новостей в нашем блоге на Хабре и телеграм-канале.

Хочешь стать автором (или уже состоявшийся автор) и есть, чем интересным поделиться в рамках наших блогов — пиши сюда.

Облачные сервисы Timeweb Cloud — это реферальная ссылка, которая может помочь поддержать авторские проекты.

📚 Читайте также:

• Azure Stack HCI — что такое, как улучшить и пользоваться;

• Каждая капля на счету или как я счетчик умным делал;

• Простое, но очень нужное устройство. Сигнализатор открытой двери холодильника.

Приветствую, коллеги! Меня зовут ProstoKirReal, и сегодня я хочу обсудить с вами физический уровень (L1) модели OSI. Понимание этого уровня является основополагающим для всех, кто только начинает свой путь в сетевых технологиях.

❯ Что такое физический уровень?

Физический уровень (Physical Layer) — это первый и самый низкий уровень модели OSI. Он отвечает за передачу необработанных битов данных по физическим средствам связи, таким как кабели и радиоволны. Этот уровень определяет электрические, механические, процедурные и функциональные характеристики для активации, поддержания и деактивации физических соединений между конечными системами.

Для начала необходимо понять, а что же такое бит данных. Я в первые месяцы работы очень часто путался в понятиях бит и байт.

Бит и байт — это две основные единицы измерения информации в компьютерных системах. Разница между ними заключается в следующем:

❯ Бит

• Определение: бит (bit) является наименьшей единицей информации в компьютерных системах.

• Значение: может принимать одно из двух значений: 0 или 1. Эти значения часто интерпретируются как «включено» или «выключено», «истина» или «ложь».

• Использование: используется для представления двоичной информации и операций на уровне аппаратного обеспечения.
  

❯ Байт

• Определение: байт (byte) состоит из 8 битов.

• Значение: может представлять 256 различных значений (от 0 до 255 в десятичной системе или от 00 до FF в шестнадцатеричной системе).

• Использование: широко используется для представления данных, таких как символы в текстовых файлах. Например, каждый символ в стандарте ASCII кодируется одним байтом.

  
  Примерное сравнение:

• Бит: 0 или 1

• Байт: 8 битов (например, 01101010)

  
  Для запоминания есть старая шутка:
  

Штирлиц поругался с посетителем бара и вышел с ним 1 на 1. На выходе он увидел 8 человек с битами. «Один байт равно 8 бит», — подумал Штирлиц

Выше я писал о двоичной и шестнадцатеричной системе. А для чего они?

На двоичной системе общаются между собой различные сетевые устройства, компьютеры и т.д.
А что же делать нам обычным людям? Даже простые данные в двоичной системе выглядят очень громоздко.

К примеру предложение «Hello, world!» выглядит как 01001000 01100101 01101100 01101100 01101111 00101100 00100000 01110111 01101111 01110010 01101100 01100100 00100001.
Для повышения читаемости таких массивов данных используют шестнадцатеричную систему. К примеру, предложение «Hello, world!» выглядит как 48 65 6C 6C 6F 2C 20 77 6F 72 6C 64 21.
Уже читабельнее?

То есть 1 бит – 0, 1 байт – 01001000, в 16-ричной 1 байт – 48.

Шестнадцатеричная система счисления — это удобный, компактный и общепринятый способ представления двоичных данных в компьютерных сетях и других областях информатики. Она позволяет инженерам и программистам эффективно работать с данными, обеспечивая при этом легкость преобразования и улучшенную читаемость.

❯ Преимущества шестнадцатеричной системы

1. Удобство преобразования: простое преобразование между шестнадцатеричной и двоичной системами.

2. Краткость записи: значительно более короткие записи по сравнению с двоичной системой.

3. Повышенная читаемость: легче для восприятия и анализа при работе с низкоуровневыми данными.

4. Принятость в стандартах: широко используется в сетевых и компьютерных стандартах.

Сложно? Еще немного и доберемся до L1.
Еще одно понятие, которое нам будет необходимо для понимания.

❯ Пакет данных

Пакет данных —это набор информации, который передается между устройствами в компьютерных сетях. Он содержит данные, такие как текст, изображения, аудио или видео, и информацию о том, куда и откуда эти данные должны быть отправлены. Пакеты данных играют ключевую роль в передаче информации через сети.

Пакет служит нам для передачи информации от компьютера к компьютеру. Вообще это отдельная тема для разговора, после модели OSI займусь написанием статьи про пакеты данных.
Если вкратце, то данные, которые нам необходимо передать по сети, делятся на несколько частей. Далее к этим данным добавляется специальный заголовок (необходимый для передачи пакетов по сети) и этот пакет с данными передается по сети в виде электрических или световых сигналов.

Итак, про L1 уровень.

За преобразование битов данных на первом уровне отвечают сетевые карточки в компьютерах и серверах, за передачу пакетов по сети используются SFP модули в таких сетевыех устройствах, как коммутаторы, маршрутизаторы и т.д.

❯ Основные функции физического уровня

Передача битов: Физический уровень определяет способ передачи битов данных по физическому носителю, будь то медные кабели, оптоволоконные кабели или беспроводные каналы.

Медные кабели передают информацию с помощью электрических сигналов, бывают 1G и 10G медные кабели, типа витая пара. Я был удивлен о наличии 10G меди.

Оптоволоконные кабели передают информацию с помощью световых сигналов.

Беспроводные соответственно передают информацию без проводов, по средством радиоволн.

Модуляция и демодуляция: Преобразование цифровых данных в аналоговые сигналы и обратно.

Модуляция и демодуляция — это процессы, используемые для передачи цифровых данных через аналоговые среды, такие как радиоволны, телефонные линии или оптоволоконные кабели. Эти процессы играют ключевую роль в современных коммуникационных системах, включая интернет, мобильные сети и телевидение.

❯ Модуляция (Modulation)

Модуляция — это процесс преобразования цифровых данных (битов) в аналоговые сигналы, которые могут быть переданы через аналоговую среду.

❯ Демодуляция (Demodulation)

Демодуляция — это процесс обратного преобразования аналоговых сигналов в цифровые данные. Демодулятор принимает модулированный аналоговый сигнал и извлекает из него оригинальные цифровые данные.

❯ Важность модуляции и демодуляции

• Эффективная передача данных: модуляция позволяет передавать цифровые данные через аналоговые среды, такие как телефонные линии и радиоволны, которые имеют ограниченную пропускную способность и подвержены шуму.

• Совместимость: благодаря модуляции цифровые системы могут быть совместимы с существующей аналоговой инфраструктурой.

• Устойчивость к помехам: различные методы модуляции могут быть более устойчивы к различным типам помех и шумов, что улучшает качество передачи данных.

• Повышение пропускной способности: использование сложных методов модуляции, таких как QAM, позволяет передавать больше данных за один цикл, что увеличивает общую пропускную способность канала связи.

Модуляция и демодуляция — это ключевые процессы, которые позволяют передавать цифровые данные через аналоговые среды, обеспечивая эффективную, надежную и высокоскоростную связь.

Электрические характеристики: определение напряжений, токов и частот, используемых для передачи данных.

Напряжение определяет разницу потенциалов между двумя точками сети. В сетях передачи данных, например, в Ethernet, используются различные уровни напряжения для кодирования цифровых данных. Низкое напряжение может быть интерпретировано как бит «0», а высокое — как бит «1».

• Ток — это поток заряженных частиц через проводник. В сетях передачи данных, таких как Ethernet, ток используется для переноса информации. Изменения в токе могут интерпретироваться как изменения битовых значений данных. Потребляемый ток также определяется сопротивлением проводников и устройств, через которые проходят данные.

• Частота определяет скорость, с которой данные передаются через сеть. В сетях Ethernet и других сетях передачи данных частота определяет скорость передачи данных, измеряемую в битах в секунду (бит/с). Например, Ethernet может иметь частоту 100 МГц или 1 ГГц, что определяет максимальную скорость передачи данных по сети.

  
  Механические характеристики: определение физического соединения, разъемов и кабелей.
  
  Физическое соединение (Physical Connection): — это способ, которым устройства в сети физически соединяются друг с другом. Физическое соединение может включать в себя различные типы кабелей, разъемов и портов. Например, в локальных сетях (LAN) устройства часто соединяются с помощью кабелей Ethernet.
  
  Разъемы (Connectors): — это физические интерфейсы, которые позволяют подключать кабели к сетевым устройствам. Существует множество типов разъемов, каждый из которых предназначен для определенных типов кабелей и протоколов. Например:
  

• RJ45: используется для подключения витой пары Ethernet.

• LC/SC: используются в оптоволоконных сетях.

Разъемы обеспечивают надежное и стандартизированное подключение, которое гарантирует совместимость устройств.

Кабели (Cables): — это физические носители, по которым передаются данные. Тип кабеля определяет скорость передачи данных, расстояние, на которое данные могут быть переданы, и среду, в которой кабель может использоваться. Основные типы кабелей включают:

• Витая пара (Twisted Pair): наиболее распространенный тип кабеля для локальных сетей. Включает неэкранированную витую пару (UTP) и экранированную витую пару (STP).

• Оптоволоконный кабель (Fiber Optic Cable): используется для высокоскоростных соединений на большие расстояния. Передает данные с помощью световых импульсов.

• Каждый тип кабеля имеет свои характеристики, такие как пропускная способность, устойчивость к помехам и максимальное расстояние передачи.
  

❯ Примеры механических характеристик в сети Ethernet

• Разъем RJ45: используется для подключения кабелей Ethernet к сетевым устройствам, таким как маршрутизаторы, коммутаторы и сетевые карты.

• Оптоволокно с разъемами LC/SC: используется как для высокоскоростных магистральных соединений и соединений на большие расстояния, так и на небольшие расстояния (как разъемы RJ).
  

❯ Почему это важно

Механические характеристики важны для обеспечения надежного и эффективного соединения между устройствами в сети. Они влияют на:

• Совместимость: использование стандартизированных разъемов и кабелей гарантирует, что устройства могут быть подключены и будут работать вместе.

• Производительность: тип и качество кабелей и разъемов могут влиять на скорость передачи данных и стабильность соединения.

• Устойчивость к помехам: экранированные кабели и правильные разъемы могут снижать воздействие электромагнитных помех и улучшать качество связи.

• Физическая защита и долговечность: надежные разъемы и кабели обеспечивают долговечность и надежность физического соединения, что особенно важно в промышленных и коммерческих сетях.

• Физическая топология: определение расположения и соединения сетевых устройств.

• Физическая топология сети определяет физическое расположение и соединение сетевых устройств, таких как компьютеры, маршрутизаторы, коммутаторы и кабели. Это важный аспект проектирования и управления сетью, поскольку он влияет на производительность, масштабируемость, надежность и управляемость сети.

Давайте рассмотрим основные типы физической топологии и их характеристики.

❯ Основные типы физической топологии

1. Шинная топология (Bus Topology)

В этой топологии все устройства подключены к одному общему кабелю (шине). Передача данных осуществляется по этому кабелю, и все устройства могут получать эти данные.

Преимущества:

• Простота установки и низкая стоимость.

• Легкость добавления новых устройств.

Недостатки:

• Ограниченная длина кабеля и количество подключаемых устройств.

• Поломка кабеля приводит к выходу всей сети из строя.

• Низкая производительность при большом количестве устройств.
  

2. Звездообразная топология (Star Topology)

Все устройства подключены к центральному узлу (коммутатору или концентратору). Центральный узел управляет передачей данных между устройствами.

Преимущества:

• Высокая производительность, так как данные передаются через центральный узел.

• Простота управления и обнаружения неисправностей.

• Поломка одного устройства или кабеля не влияет на работу всей сети.

Недостатки:

• Зависимость от центрального узла: если он выходит из строя, вся сеть перестает работать.

• Более высокая стоимость из-за необходимости в центральном узле и большем количестве кабелей.
  

3. Кольцевая топология (Ring Topology)

Устройства соединены в кольцо, и каждый узел связан с двумя соседними узлами. Данные передаются по кольцу от одного устройства к другому.

Преимущества:

• Равномерное распределение нагрузки между узлами.

• Отсутствие коллизий при передаче данных.

Недостатки:

• Поломка одного устройства или кабеля нарушает работу всей сети.

• Сложность добавления новых устройств.
  

4. Ячеистая топология или сетчатая (Mesh Topology)

В этой топологии каждое устройство подключено ко всем другим устройствам. Существует полносвязная ячеистая топология, где все устройства напрямую соединены друг с другом, и частичная ячеистая топология, где некоторые устройства соединены не напрямую.

Преимущества:

• Высокая надежность: сбой одного устройства или кабеля не влияет на работу всей сети.

• Высокая производительность и минимальная задержка.

Недостатки:

• Высокая стоимость и сложность установки.

• Сложность управления и обслуживания.
  

5. Древовидная топология (Tree Topology)

Комбинация звездной и шинной топологий. Устройства соединены в группы, которые, в свою очередь, соединены центральными узлами.

Преимущества:

• Иерархическая структура упрощает управление.

• Легкость масштабирования сети.

Недостатки:

• Зависимость от центральных узлов.

• Более сложная установка по сравнению с простой звездной топологией.
  

❯ Почему физическая топология важна?

• Производительность: различные топологии предлагают разные уровни производительности и могут справляться с разными объемами трафика.

• Надежность: топология влияет на устойчивость сети к сбоям. Некоторые топологии более устойчивы к поломкам отдельных устройств или кабелей.

• Масштабируемость: разные топологии по-разному справляются с добавлением новых устройств и расширением сети.

• Управляемость: некоторые топологии проще в управлении и диагностике неисправностей.

• Стоимость: стоимость установки и обслуживания сети зависит от выбранной топологии, так как разные топологии требуют разного количества кабелей и оборудования.

Физическая топология сети играет ключевую роль в проектировании, управлении и обслуживании сетевых систем, обеспечивая оптимальную производительность и надежность.

Основные технологии

• Кабели и разъемы: RJ45, оптоволоконные кабели, коаксиальные кабели.

• Электрические характеристики: RS-232, V.35, 100BASE-TX, 10BASE-T.

• Беспроводные стандарты: 802.11 (Wi-Fi), Bluetooth.

Основные стандарты

• RS-232: стандарт для последовательного обмена данными. (это не разъем как обычно считают, DE-9 это разъем, а RS-232 это стандарт)

• V.34: стандарт для модемов, который определяет методы модуляции для передачи данных по телефонным линиям со скоростью до 33.6 Кбит/с.

• 100BASE-TX: стандарт для передачи данных по витой паре на скорости 100 Мбит/с.

• 802.11: набор стандартов для беспроводных сетей.

Применение физического уровня на практике

На практике физический уровень используется для создания и поддержания физических соединений между сетевыми устройствами. Например, когда вы подключаете компьютер к маршрутизатору с помощью Ethernet-кабеля, вы взаимодействуете с физическим уровнем. Важно понимать, что любые проблемы с кабелями или разъемами на этом уровне могут приводить к сбоям в передаче данных.

❯ А что будет с данными если отключить кабель?

Отключение сетевого кабеля и его влияние на уровни сетевой модели

Когда сетевой кабель выдергивается, это затрагивает только физический уровень сетевой модели OSI, но как это влияет на работу протоколов TCP/IP?

Физический уровень (Physical Layer)

Физический уровень отвечает за передачу данных по физической среде, такой как медный кабель или оптоволокно. Когда сетевой кабель отключается, устройства на этом уровне теряют способность передавать сигналы. Этот уровень может распознать, что кабель выдернут, так как электрический или оптический сигнал больше не поступает.

Канальный уровень (Data Link Layer) (подробнее о данном уровне в следующей статье)

Канальный уровень взаимодействует непосредственно с физическим и управляет доступом к среде передачи данных, обнаружением ошибок и управлением потоком. При отключении кабеля сетевой интерфейс, например, Ethernet, сигнализирует об ошибке, такой как «link down». Это событие фиксируется на этом уровне, но не обязательно передается выше.

TCP/IP и вышележащие протоколы

Протоколы стека TCP/IP (такие как TCP, UDP, IP) работают на более высоких уровнях и не имеют прямого доступа к информации о физическом состоянии соединения. Они оперируют виртуальными представлениями сети, предоставляемыми нижележащими уровнями. Поэтому, когда кабель отключается, TCP/IP не узнает об этом напрямую, если информация о разрыве соединения не передается с более низких уровней.

Механизмы обнаружения обрыва соединения

Для того чтобы протоколы верхнего уровня, такие как TCP, могли узнать о разрыве соединения, используются специальные механизмы:

• KeepAlive: после установления соединения и при включенной опции KeepAlive, TCP начинает отправлять небольшие контрольные пакеты по истечении определенного времени бездействия. Если определенное количество пакетов KeepAlive не получает ответа, TCP считает соединение недействительным и инициирует его разрыв.

• Тайм-ауты: TCP пакеты имеет встроенные механизмы тайм-аутов, которые позволяют определить, что данные не были доставлены в течение определенного времени. В случае тайм-аута TCP предпринимает попытку повторной передачи данных или разрыва соединения.

Когда сетевой кабель отключается, это сначала обнаруживается на физическом и канальном уровнях сети. Однако, если информация об отключении не передается выше, протоколы TCP/IP не узнают об этом напрямую. Для решения этой проблемы в TCP предусмотрены механизмы, такие как KeepAlive и тайм-ауты, которые помогают обнаружить потерю соединения и принять соответствующие меры. Эти механизмы обеспечивают надежность и устойчивость работы сетевых приложений, даже при физических сбоях в сети.

❯ Заключение

Физический уровень модели OSI является основой для всех остальных уровней. Без надежного физического соединения остальные уровни не смогут выполнять свои функции. Понимание работы физического уровня поможет вам эффективно устранять неисправности и оптимизировать работу сетевых устройств.

В следующей статье мы рассмотрим канальный уровень (L2) и его роль в сетевом взаимодействии.

Спасибо за внимание, и до встречи в следующей статье!

Написано специально для Timeweb Cloud и читателей Пикабу. Больше интересных статей и новостей в нашем блоге на Хабре и телеграм-канале.

Хочешь стать автором (или уже состоявшийся автор) и есть, чем интересным поделиться в рамках наших блогов — пиши сюда.

Облачные сервисы Timeweb Cloud — это реферальная ссылка, которая может помочь поддержать авторские проекты.

📚 Читайте также:

• Будущее хранения данных. Где и на чем будем хранить данные в будущем;

• Как подготовиться к собеседованию начинающему сетевому инженеру? Базовые знания;

• Тимоти Джон Бернерс-Ли – человек, который почти создал интернет.