Операция искра вов: Операция «Искра» | это… Что такое Операция «Искра»?

12 января 1943 года началась операция «Искра» > Региональный центр патриотического воспитания

Главное меню » Методические материалы » Памятная дата военной истории Отечества: 12 января 1943 года началась операция «Искра»

12 Январь, 2022

Редактор сайта ГАУ СО РЦПВ

«Искра» – кодовое наименование наступательной операции Ленинградского и Волховского фронтов в содействии с Балтийским флотом, Ладожской военной флотилии и Авиации дальнего действия СССР во время Великой Отечественной войны, проводившейся 12-30 января 1943 года с целью прорыва блокады Ленинграда.

 Обстановка на начало операции и силы сторон

К началу 1943 года обстановка на северном участке советско-германского фронта продолжала оставаться напряжённой. На протяжении минувшего 1942 года Красная Армия два раза пыталась прорвать блокаду Ленинграда в ходе Любанской и Синявинской операций, однако обе попытки оказались безуспешными. Ленинград, а вместе с ним войска Ленинградского фронта и Балтийский флот, уже 16 месяцев находились в полной изоляции от основной части СССР, сообщение с ней осуществлялось лишь по «Дороге жизни» на Ладожском озере. На начало 1943 года войска Ленинградского фронта держали оборону на южных и юго-восточных подступах к городу (рубеж Урицк – Пушкино – южнее Колпино – правый берег Невы), а также на Карельском перешейке, на северных рубежах.

В ноябре 1942 года командованием Ленинградского фронта были внесены предложения о подготовке третьего, решающего наступления. 2 декабря 1942 года появилась директива Ставки Верховного Главнокомандующего № 170696, согласно которой был утверждён план операции под кодовым наименованием «Искра». К участию в ней привлекались войска Ленинградского и Волховского фронтов, позиции которых разделялись 15-километровым коридором («шлиссельбургско-синявинский выступ», «бутылочное горлышко»), подходившим к Ладожскому озеру и замыкавшим блокадное кольцо.

Общий контроль от Ставки за операцией осуществляли Маршал Советского Союза К. Е. Ворошилов и генерал армии Г.К. Жуков (звание Маршала было присвоено ему в разгар операции «Искра», 18 января 1943 года). Непосредственное выполнение поставленных задач на главном направлении возлагалось на 67-ю армию Ленинградского фронта (командующий – генерал-лейтенант М. П. Духанов) и 2-ю ударную армию Волховского фронта (командующий – генерал-лейтенант В. З. Романовский).

Ударная группа Волховского фронта должна была нанести главный удар в направлении Синявино и, прорвав немецкую оборону, соединиться с Ленинградской группой, которая в свою очередь должна была наступать ей навстречу, перейдя по льду Неву и прорвав оборону на участке Дубровка – Шлиссельбург. Действия 2-й ударной армии поддерживались 8-й (командующий – генерал-лейтенант Ф. Н. Стариков) и 54-й (командующий – генерал-лейтенант А. В. Сухомлин) армиями, действия 67-й армии – 55-й армией (командующий – генерал-лейтенант В. П. Свиридов).

Авиационную поддержку войскам Ленинградского и Волховского фронтов осуществляли соответственно 13-я (командующий – генерал-полковник авиации С. Д. Рыбальченко) и 14-я (командующий – генерал-лейтенант авиации И. П. Журавлёв) воздушные армии, кроме того, артиллерийскую поддержку оказывали корабли Ладожской военной флотилии и Балтийского флота. В общей сложности в операции «Искра» участвовали более 302 тысяч бойцов и командиров, около 4900 орудий и миномётов, более 600 танков, более 800 самолётов.

На данном участке против советских войск действовала 18-я армия (командующий – генерал-полковник Г. Линдеман) группы армий «Север». На шлиссельбургско-синявинском выступе было сосредоточено до 5 дивизий (ещё 4 – в оперативном резерве), около 700 орудий и миномётов, до 50 танков и штурмовых орудий. Авиационную поддержку немецким войскам оказывали части 1-го воздушного флота (командующий – генерал-полковник А. Келлер). За почти полтора года пребывания в этих местах части вермахта превратили выступ в укреплённый район, насчитывающий множество опорных пунктов и узлов обороны, линий противотанковых и противопехотных заграждений, минных полей. Командование группы армий «Север» использовало для обороны болотистую и холмистую местность, а также применяло захваченную во время предыдущих неудачных операций Красной Армии боевую технику и вооружение. Всё пространство перед линией фронта простреливалось с нескольких точек. В совокупности эти факторы делали оборону вермахта исключительно трудно преодолимой. Общая численность немецких войск на начало операции составляла на данном участке около 60 тысяч человек, 700 орудий и миномётов, 50 танков и самоходок, 200 самолётов.

 Подготовка к операции

Подготовка к активной фазе операции «Искра» производилась в течение декабря 1942 – начала января 1943 года. Все задействованные части были пополнены личным составом, боевой техникой, вооружением, боеприпасами. Привлечённые части инженерных войск построили большое количество колонных путей и мостов для переброски подкреплений. Большое внимание было уделено обучению военнослужащих, проводились командно-штабные игры. Активно производилась воздушная разведка с аэрофотосъёмкой, что позволило максимально уточнить карты.

Чтобы противник не обнаружил приготовления советских войск, был разработан целый комплекс мер секретности. Передислокация и перегруппировка частей производилась лишь в тёмное время суток или при плохих погодных условиях, что обезопасило их от обнаружения вражеской авиацией. Разведывательные действия были активизированы во всей прифронтовой полосе, чтобы враг не мог разгадать замысел советского командования. План операции разрабатывал строго ограниченный круг штабных работников. Лишь в январе 1943 года, незадолго до операции, противник узнал о подготовке советских войск к наступлению, но когда и на каком участке оно будет, до самого последнего момента гитлеровскому командованию было неизвестно.

 Ход боевых действий

В ночь с 11 на 12 января 1943 года группы советских ночных бомбардировщиков, несмотря на плохую погоду, нанесли массированные удары по артиллерийским позициям и штабам немецких частей. В 09:30 была предпринята артиллерийская подготовка, длившаяся 2 часа 20 минут. Следом были предприняты атаки на опорные пункты и скопления артиллерии врага штурмовой авиацией. После этого в наступление были брошены основные силы.

На Ленинградском фронте части 136-й (командир – генерал-майор Н.П. Симоняк) и 268-й (командир – полковник С.Н. Борщев) стрелковых дивизий успешно форсировали Неву и захватить передовые траншеи противника. Темпы продвижения 45-й гвардейской стрелковой дивизии (командир – генерал-майор А.А. Краснов) были более медленными, но к исходу первого дня операции и она успешно продвинулась вперёд. В итоге к вечеру 12 января 1943 года части 67-й армии вклинились в немецкую оборону на глубину до 3 километров.

На Волховском фронте части 327-й стрелковой дивизии (командир – полковник Н.А. Поляков) после ожесточённого боя захватили рощу Круглая. 256-я (командир – полковник Ф. К. Фетисов) и 372-я (командир – подполковник П. В. Мельников) стрелковые дивизии также сумели продвинуться вперёд, захватив несколько траншей.

Немецкое командование, опасаясь прорыва обороны, 13 января 1943 года перебросило к северу от Синявино части 5-й, 61-й и 69-й пехотных дивизий, а в районе Дубровки провело ряд контратак, чтобы отбросить наступающие советские части. Некоторые советские части, понесшие большие потери, были вынуждены отойти на 1,5-2 километра. Советское командование в течение 13-14 января 1943 года ввело ряд резервных подразделений, а также приняло решение расширить прорыв в сторону флангов. В результате смелых обходных манёвров 128-й стрелковой дивизии (командир – генерал-майор Ф. Н. Пархоменко) и 12-й лыжной бригады (командир – подполковник Н. А. Себов) была окружена и разгромлена группировка противника в городе Липки. Тяжёлые бои шли 14 января 1943 года в районе Шлиссельбурга, где наступали 86-я стрелковая дивизия (командир – полковник В. А. Трубачёв) и 34-я отдельная лыжная бригада (командир – подполковник Я. Ф. Потехин). В результате к исходу дня советским частям удалось захватить восточную часть города и выйти к Старо-Ладожскому каналу. На многих участках фронта враг был блокирован. К вечеру 14 января войска Волховского и Ленинградского фронтов уже находились на расстоянии 2 километрах друг от друга.

Командование группы армий «Север» продолжало перебрасывать свои части с других участков, но большого успеха это не имело. 18 января 1943 года в Рабочем Посёлке № 5 части 136-й стрелковой дивизии и 61-й танковой бригады (командир – полковник В. В. Хрустицкий) Ленинградского фронта встретились с частями 18-й стрелковой дивизии (командир – генерал-майор М. Н. Овчинников) Волховского фронта, а в районе Рабочего Посёлка № 1 соединились 123-я стрелковая бригада Ленинградского фронта и 372-я стрелковая дивизия Волховского фронта. В тот же день от врага был полностью очищен Шлиссельбург и южный берег Ладожского озера.

Дальнейшего развития наступление 67-й и 2-й ударной армий на юг, в районе города Мга, не получило. 19-30 января 1943 года немецкое командование перебросило на Синявинские высоты пять пехотных дивизий и большое количество артиллерии, что позволило им удержать их. 30 января 1943 года советские части перешли к обороне – данный рубеж сохранялся вплоть до операции по окончательному снятию блокады Ленинграда в 1944 году.

 Итоги операции

Пробитый советскими войсками коридор позволил восстановить прямую сухопутную связь Ленинграда со всей страной. За 19 дней от станции «Поляна» Октябрьской железной дороги до Шлиссельбурга была проложена 33-километровая железнодорожная ветка. 7 февраля 1943 года в Ленинград по этому пути прибыл первый поезд. Прорыв блокады позволил увеличить подачу в город электроэнергии, наладить поставки в город хлеба и прочих продуктов, благодаря чему были подняты нормы их выдачи населению. Кроме того, в результате операции «Искра» окончательно были сорваны планы германского командования соединиться с финскими войсками.

Во время операции «Искра» были разгромлены 7 пехотных дивизий вермахта, враг потерял более 13 тысяч убитыми, около 17 тысяч – ранеными, пленными и пропавшими без вести. Советские войска потеряли около 34 тысяч убитыми, около 88 тысяч – ранеными и пропавшими без вести. Несмотря на высокие потери, боевые действия января 1943 года ознаменовали собой уникальный пример операции по деблокированию крупного города одновременным мощным ударом извне и из самого осаждённого города. Советские части получили большой опыт по организации и ведению боёв в условиях снежной зимы в лесистой и болотистой местности, особенно в части планирования и ведения артиллерийского огня и прорыва долговременной обороны противника.

За мужество и героизм, проявленные в боях военнослужащими 136-й и 327-й стрелковых дивизий, Приказом Верховного Главнокомандующего были преобразованы в 63-ю и 64-ю гвардейские соответственно, а 61-я танковая бригада стала 30-й гвардейской.

Личному составу войск Волховского и Ленинградского фронтов была объявлена благодарность Верховного Главнокомандующего, около 19 тысяч бойцов и командиров были удостоены орденов и медалей, а 25 человек стали Героями Советского Союза.

 Источник: https://w.histrf.ru/articles/article/show/opieratsiia_iskra

Понравилась статья? Поделитесь ссылкой на нее со своими друзьями и партнерами:

«Искра», разбившая блокаду


Победа в Великой Отечественной войне складывалась из множества побед в локальных сражениях. И не последнее место среди них занимает операция «Искра». 18 января 1943 года части Ленинградского и Волховского фронтов соединились в районе рабочих поселков № 1 и № 5, прорвав блокаду Ленинграда. «Коридор» пробитый между Шлиссельбургом и Синявино, имел ширину 8–12 километров, а проложенные по нему железнодорожная и автомобильные трассы получили название Дорога Победы. Этим историческим событиям посвящены музеи и памятники, расположенные вдоль южного побережья Ладожского озера (в Кировском районе Ленинградской области) и объединенные в музей-заповедник «Прорыв блокады Ленинграда».


В истории битвы за Ленинград южное Приладожье занимает особое место. 8 сентября 1941 года с захватом фашистами Шлиссельбурга началась сухопутная блокада второго по значению после Москвы города Советского Союза. И в этих же местах вражеское кольцо было прорвано, причем лишь с пятой попытки. Окончательное освобождение города от блокады произошло только в январе 1944 года в ходе операции «Нева-2», известной под названием «первого сталинского удара». 


Поездка по объектам музея-заповедника «Прорыв блокады Ленинграда» позволяет проследить всю историю Ленинградской битвы, включая как победные, так и самые трагические ее страницы.


16 атак ежедневно


«Невский пятачок» – небольшой плацдарм на левом берегу Невы к югу от Шлиссельбурга – был отбит у немцев в сентябре 1941 года и с перерывом в пять месяцев (29 апреля – 26 сентября 1942-го) удерживался Красной армией до февраля 1943-го. Ежедневно его защитники отбивали по 10–16 атака противника. 


В одном наугад поднятом на плацдарме кубическом метре земли следопыты нашли 10 килограммов металла – пуль, осколков бомб и снарядов. Безвозвратные потери наших войск на «пятачке» достигли 60 тысяч человек. 


Один из участников боев Борис Пидемский вспоминал: «Погибших хоронили в воронках, их засыпало в блиндажах и траншеях. Некоторые оказывались захороненными дважды и трижды. Потому что разрывы снарядов и мин поднимали останки в воздух, а потом их вновь засыпало землей. Весь массив «пятачка» – это смесь земли, костей и металла».


В 1955 году рабочие 8-й ГРЭС возвели первый скромный обелиск на территории этой огромной братской могилы. Через 12 лет на месте несохранившегося памятника Петру Великому военнослужащие Ленинградского военного округа установили 76-миллиметровое артиллерийское орудие Великой Отечественной войны, а неподалеку от него вскоре появился танк Т-34-85 (выпускавшийся, впрочем, только с января 1944-го и, следовательно, здесь не сражавшийся). Вместе с другими появившимися позже памятными знаками в 1978 году они образовали мемориальный военно-исторический комплекс «Невский пятачок» с охранной зоной в 196 гектаров. 


Монумент «Призрачная деревня» стал символом 38 селений современного Кировского (ранее Мгинского) района, полностью уничтоженных в ходе боевых действий и фашистских карательных акций. 


В 1999 году была освящена часовня Георгия Победоносца, возле которой находится братское воинское захоронение. За последние четверть века на Невском пятачке были найдены и преданы земле останки около 21 тысячи человек. Скольких еще предстоит похоронить – неизвестно. 


Как создавалась диорама


Организация музея-заповедника как огромного мемориального комплекса, объединяющего достаточно удаленные друг от друга объекты, началось с создания, расположенной в деревне Марьино диорамы «Прорыв блокады Ленинграда».  


Идея создания грандиозной картины возникла еще в 1944 году, вскоре после окончательного снятия блокады, и тогда же были набросаны первые эскизы. Но через пять лет грянуло «ленинградское дело». Подвиг Ленинграда, воспеваемый советской пропагандой и в ходе войны, и сразу после ее окончания, как бы отодвинули на задний план. Да и в общей историографии Великой Отечественной операция «Искра» несколько затерялась на фоне Сталинградской битвы, последний акт которой также разворачивался в январе – начале февраля 1943 года.


Знаковым событием стал выход в 1975–1978 годах киноэпопеи «Блокада», последний, четвертый, фильм которой так и называется «Операция «Искра». В 1979 году, перед очередным юбилеем Победы, к идее создания диорамы, посвященной прорыву блокады, вернулись. 


Сначала картину писали в кинозале Нахимовского училища. Затем переместились в торговый зал магазина фирмы «Океан» на Петроградской стороне. Финальный этап начался, когда незаконченную диораму перевезли в специально построенное для нее здание, являющееся частью пандуса Ладожского моста (то есть возведенное в непосредственной близости от места событий). Помощь в доставке полотна оказали матросы с крейсера «Аврора». Торжественное открытие музея-диорамы состоялось в канун 40-летия Победы, 7 мая 1985 года. 


Рассказывает заведующий музеем-заповедником «Прорыв блокады Ленинграда Денис Пылев: 


– Наша диорама во многом уникальна. Она самая большая на территории Северо-Запада Российской Федерации. Ее размеры 40 на 8 метров, глубина переднего плана 6 метров. Это единственная диорама, созданная только ленинградскими художниками-баталистами, принимавшими участие в обороне города: Селезнев – руководитель коллектива, Котик, Молтенинов, Кутузов, Севостьянов, Кабачек, Гариков. Предметный план выполнен под руководством Зайцева. Автор внутреннего оформления помещения под диораму – архитектор Синица. Авторы художественного оформления фасада помещения диорамы архитекторы Изоитко, Колкушин, скульпторы Новиков, Сиренко. Военными консультантами были участники прорыва блокады полковники в отставке Жеребов и Соломахин и кандидат исторических наук, доцент полковник Зайцев.


События, запечатленные на полотне, разворачиваются на территории, прилегающей к поселку № 1, довольно аскетичной по пейзажу, но заполненной отправляющимися в бой и уже вступившими в сражение войсками.


В центральной части диорамы посетитель видит бойцов 136-й стрелковой дивизии генерала Николая Симоняка, форсирующих Неву и штурмующих левый берег. В бой они шли под музыку игравшего «Интернационал» сводного оркестра и смогли добиться наибольшего успеха, отвоевав в течение первого дня плацдарм длиной в пять и глубиной до трех километров. 


К операции тщательно готовились. По приказу комдива личный состав штурмовых отрядов был переодеты в ботинки с шипами. На предшествовавших реальному бою учениях красноармейцы с полной боевой выкладкой преодолели пространство с ледяными торосами за 10 минут, а в настоящем бою 600 метров они преодолели за минимально возможное в той ситуации время в 6–7 минут. Но для них эти минуты казались часами. 


Умело использовав штурмовые лестницы, багры, веревки с «кошками», воины карабкались по обледенелому берегу и врывались во вражеские траншеи…


В сентябре 2003 года на обустроенной перед зданием диорамы площади установили поднятый со дна Невы танк КВ-1, затонувший осенью 1941 года. Так постепенно стала формироваться танковая экспозиция «Танки Прорыва», насчитывающая сегодня шесть единиц боевой техники. Помимо КВ-1, речь идет о КВ-1с, Т-26, Т-38 и БТ-5, причем все они поступили в музей не из армейских арсеналов, а были найдены в 2003–2007 годах на территории музея-заповедника – на дне реки Невы в районе Невского пятачка и в болоте под Мгой. 


К танковой экспозиции примыкает площадка с бронированными огневыми точками разных типов, в том числе такими необычными, как бронеползунок, бронедом и превращенная в долговременное укрытие танковая башня.


В 2017 году на территории музея появилась еще одна экспозиция боевой техники – четыре современных танка, – получившая название «Наследники героев» и вызывающая у посетителей музея не меньший интерес, чем экспозиция танков периода Великой Отечественной. 


Как воевали и погибали


Как подчеркивает Денис Пылев: 


– Наш музей сравнительно молодой, и мы до сих пор находимся в стадии развития и созидания.


В 1992 году в Кировске у музея-заповедника появился выставочный зал, предназначенный для временных выставок, а также организации разного рода мероприятий, конференций, лекций, концертов. Самым значительным результатом в выставочной деятельности стала временная выставка-панорама «Прорыв», открывшаяся 27 января 2014 года при участии президента РФ, созданная шлиссельбургскими поисковиками на средства президентского гранта. Как известно, отец Владимира Путина сражался на Невском пятачке, где был тяжело ранен.


На встрече с ветеранами Владимир Путин рассказывал: 


– Я только сейчас смотрел панораму, которую сделали совсем молодые люди. На меня это произвело очень сильное, хорошее впечатление – и потому, что сделано очень талантливо, и потому, что это сделали совсем молодые люди, и сделали для себя и для будущих поколений. Все больше и больше людей туда приходят, и не только ветеранов, но и людей разных возрастов, разных поколений, совсем молодые ребята приходят. Все сделано, повторяю, руками молодых людей. И это, на мой взгляд, особенно важно и особенно ценно.


В отличие от диорамы, традиционная живописная панорама предоставляет зрителю круговой обзор места событий, совмещая (как и в диораме) живописный фон с объемным изображением.


В России список традиционных панорам хронологически открыла «Транссибирская магистраль» Павла Пясецкого, демонстрировавшаяся в 1900 году на Парижской Всемирной выставке. Дальше пошли исключительно батальные сюжеты. «Оборона Севастополя» (1905) и «Бородинская битва» (1912) Франца Рубо считаются классикой жанра и были открыты к 50-летнему и 100-летнему юбилеям запечатленных на них сражений.


В 1975 году московские баталисты Сергей Агапов и Анатолий Горпенко представили в Хабаровске панораму «Волочаевская битва», посвященную последней крупной операции Гражданской войны.


В 1982 году в Волгограде открылась для посещения созданная мастерами студии военных художников имени М. Б. Грекова панорама «Разгром немецко-фашистских войск под Сталинградом».


Но «Прорыв» – панорама не традиционная, а более современная, трехмерная. Как пояснил Денис Пылев: 


– Благодаря скульптурам, звуковому сопровождению и специальной подсветке картина боя реконструирована с максимальной реалистичностью. Здесь нет заграждений, эту функцию выполняет рельеф, а предметный ряд, находящийся в доступных с экскурсионного маршрута зонах, можно изучать на ощупь. Акцент сделан не на расписанном полотне, а именно на предметном плане, скульптурах героев. Зритель оказывается непосредственно внутри события, становится прямым свидетелем «замершего» момента. Каждый из солдат наделен своим неповторимым обликом, воссозданным на основе фотографий времен Великой Отечественной. Все они – реальные люди, которые воевали и погибали на Невском пятачке.


Автором идеи панорамы «Прорыв» является Дмитрий Поштаренко – командир поискового отряда «Шлиссельбург», входящего в поисковое объединение «Святой Георгий». Именно поиски останков погибших во время обороны Ленинграда бойцов и дали первый толчок к созданию такого рода экспозиции.


Возглавляемая Поштаренко инициативная группа «Невский баталист» занялась созданием музейных экспозиций, и сегодня на ее счету уже несколько трехмерных панорам, посвященных знаковым событиям Второй мировой войны, – «Герои Брестской крепости», «Битва за Москву. Бородино. 1941», «Москва, 1941. Контрнаступление», «Кенигсберг – 45. Последний штурм», «Битва за Берлин. Подвиг знаменосцев», «Штурм Котонского укрепрайона. Освобождение Южного Сахалина», «Десант на Шумшу. Последний остров войны».


Но начиналось все именно с «Прорыва»…


«Прорыв»


Новое, предназначенное для панорамы здание, открытие которого состоялось 18 января 2018 года (к 75-летию операции «Искра»), включает два зала. В одном из них размещена сама панорама, в другом посетителей знакомят с видеохроникой пяти попыток прорыва блокады. 


В оформлении предметного плана использовались полномасштабные макеты техники, муляжи боеприпасов и оружия, личные вещи и другие материалы, обнаруженные поисковиками в районах, где происходили важнейшие события Ленинградской битвы.


Сама панорама посвящена конкретному бою – атаке бойцов 131-го стрелкового полка 45-й гвардейской дивизии 13 января 1943 года с «Невского пятачка» на позиции немцев. Схватка разворачивается у вражеской огневой точки, после захвата которой следовало развивать наступление в районе Арбузово. Незначительно севернее – находящаяся уже в руках советских войск деревня Московская Дубровка. 


Об ожесточенности боев можно судить по разбитым до основания брустверам, осыпавшимся стенам окопов, разбросанным предметам амуниции и вооружения.


Над полем боя нависает бомбардировщик «Юнкерс Ю-87». Непосредственно перед ним – подбитый танк БТ-5. Башня другого танка Т-26 служит укрытием для бойца в маскхалате – 19-летнего старшины Владимира Девяткина. Через несколько дней он получит серьезное ранение и будет подобран санитарками. Девяткин останется инвалидом, но проживет долгую жизнь. Внука его тоже назовут Владимиром.


Двигающуюся от воды по траншее группу бойцов возглавляет старший лейтенант Константин Непоклонов, вооруженный пистолетом-пулеметом Судаева. Выпуск этого легкого и удобного в бою оружия был налажен в декабре 1942 года на Сестрорецком заводе, производственные площадки которого были перенесены в блокадный город. 


Слева от пристани, где осуществляется эвакуация раненых, на переднем плане находится Маргарита Меньшагина. Она и другие кинологи, в основном молодые девушки, с помощью собак разминировали минные поля, разматывали телефонные кабели, вытаскивали раненых.


Из двадцати запечатленных на панораме бойцов только трое – Девяткин, Непоклонов и Меньшагина – доживут до Победы.


Группу приближающихся к вражескому пулеметному гнезду автоматчиков возглавляет гвардии лейтенант, участник финской войны дагестанец Михраб Ибрагимов. 45-ю дивизию, в которой он служил, называли «дивизией усачей», поскольку ее бойцы отращивали усы по примеру своего комдива Героя Советского Союза генерала Анатолия Краснова.


За умелые действия по блокировке и уничтожению вражеской ДЗОТ Ибрагимов был награжден орденом Красной Звезды. А летом 1943 года он пропал без вести на подступах к Синявинским высотам. Его останки были найдены поисковиками в 2009 году, перевезены родственниками в Махачкалу и захоронены на братском воинском кладбище.


Конкретные эпизоды и персонажи не обязательно стопроцентно совпадают с хронологией тех событий. Например, один из бойцов, сошедшийся врукопашную с солдатом вермахта, – Филимон Якимович Соколов – погиб несколькими днями ранее на «Невском пятачке», где его останки и были найдены поисковиками.


На «Невском пятачке» поисковики нашли и останки Дмитрия Семеновича Стремина, погибшего еще в 1942-м. При нем обнаружили смертный медальон с данными о довоенном месте жительства – станция Невская Дубровка, улица Первой Пятилетки. То есть погиб он рядом с родными местами. Авторов панорамы особенно впечатлило, что выпускник Академии художеств Стремин, можно сказать их коллега. Знаменитый мастер Исаак Бродский называл его одним из лучших своих учеников. В Невской Дубровке, до того, как пойти на фронт, Стремин работал учителем рисования и черчения.  


Экспозиция «Прорыва» удачно сочетает два важных, но по сути контрастных принципа музейной экспозиции – ставку на современные технологии и ставку на подлинность. О современных технологиях выше уже говорилось, но эти технологии сочетаются с подлинностью, поскольку все задействованные в панораме предметы либо были найдены на местах боев, либо представляют собой аутентичные копии. 


Так или иначе, панорама «Прорыв», как и весь одноименный музей-заповедник, уже может восприниматься не просто как одна из региональных достопримечательностей, но и как зримый символ исторической памяти. Памяти о тех событиях, без которых не было бы дня сегодняшнего. Да и России, скорей всего, не было бы.

Преобразования Spark RDD с примерами

Преобразования RDD — это операции Spark, когда они выполняются на RDD, это приводит к одному или нескольким новым RDD. Поскольку RDD по своей природе неизменяемы, преобразования всегда создают новые RDD без обновления существующего, следовательно, это создает линию RDD .

Происхождение RDD также известно как граф операторов RDD или граф зависимостей RDD .

В этом уроке вы изучите ленивые преобразования, типы преобразований, полный список функций преобразования на примере подсчета слов в scala.

  • Что такое ленивое преобразование
  • Типы трансформации
    • Узкая трансформация
    • Широкая трансформация
  • Функции трансформации
  • Функции преобразования с примерами подсчета слов

RDD Преобразования являются ленивыми

RDD Преобразования являются ленивыми операциями, что означает, что ни одно из преобразований не будет выполнено, пока вы не вызовете действие в Spark RDD. Поскольку RDD неизменяемы, любые преобразования в нем приводят к тому, что новый RDD оставляет текущий без изменений.

Типы преобразования СДР

Существует два типа преобразований.

Узкое преобразование

Узкое преобразование является результатом функций map() и filter() и этих вычисляемых данных, которые находятся в одном разделе, что означает отсутствие перемещения данных между разделами для выполнения узкого преобразования.

Функции, такие как map() , mapPartition() , flatMap() , filter() , union() являются некоторыми примерами узкого преобразования

Более широкое преобразование

Более широкие преобразования являются результатом функций groupByKey()  и reduceByKey() и этих вычисляемых данных, которые находятся во многих разделах, что означает перемещение данных между разделами для выполнения более широкие преобразования. Так как они перемешивают данные, они также называются преобразованиями в случайном порядке.

Функции, такие как groupByKey() , aggregateByKey() , агрегат () , объединение () , перераспределение () являются некоторыми примерами более широких преобразований.

Примечание: По сравнению с узкими преобразованиями более широкие преобразования являются дорогостоящими операциями из-за перетасовки.

Функции преобразования Spark RDD

Методы преобразования Использование и описание метода
cache() Кэширует RDD
filter() Возвращает новый RDD после применения функции фильтрации к исходному набору данных.
flatMap() Возвращает плоскую карту, что означает, что если у вас есть набор данных с массивом, он преобразует каждый элемент массива в строку. Другими словами, он возвращает 0 или более элементов на выходе для каждого элемента в наборе данных.
map() Применяет функцию преобразования к набору данных и возвращает такое же количество элементов в распределенном наборе данных.
mapPartitions() Подобно карте, но выполняет функцию преобразования для каждого раздела. Это дает лучшую производительность, чем функция карты
mapPartitionsWithIndex() Аналогично map Partitions, но также предоставляет func целочисленное значение, представляющее индекс раздела.
randomSplit() Разбивает RDD по весам, указанным в аргументе. Например, rdd.randomSplit(0.7,0.3)
union() Объединяет элементы из исходного набора данных и аргумента и возвращает объединенный набор данных. Это похоже на функцию объединения в математических операциях над множествами.
sample() Возвращает образец набора данных.
пересечение() Возвращает набор данных, который содержит элементы как в исходном наборе данных, так и в аргументе
Different() Возвращает набор данных, удаляя все повторяющиеся элементы.
repartition() Возвращает набор данных с номером раздела, указанным в аргументе. Эта операция случайным образом перетасовывает RDD. Она может возвращать меньшее или большее число разделов RDD в зависимости от предоставленных входных данных.
объединение () Подобно перераспределению, работает лучше, когда мы хотим уменьшить разделы. Улучшение достигается за счет перетасовки данных с меньшего количества узлов по сравнению со всеми узлами путем перераспределения.

Преобразования RDD Spark с примерами

В этом разделе я объясню несколько преобразований RDD на примере подсчета слов в scala. Прежде чем мы начнем, давайте создадим RDD, прочитав текстовый файл. Используемый здесь текстовый файл доступен на GitHub, а пример scala доступен в проекте GitHub для справки.

val spark:SparkSession = SparkSession.builder()
      .мастер("местный[3]")
      .appName("SparkByExamples.com")
      .getOrCreate()
val sc = spark.sparkContext
val rdd:RDD[String] = sc.textFile("src/main/scala/test.txt")
 

Преобразование flatMap()

Преобразование flatMap() выравнивает СДР после применения функции и возвращает новый СДР. В приведенном ниже примере сначала каждая запись разбивается по пробелу в RDD и, наконец, сглаживается. Результирующий RDD состоит из одного слова в каждой записи.

val rdd2 = rdd.flatMap(f=>f.split(" "))
 

map() Преобразование

map() Преобразование используется для применения любых сложных операций, таких как добавление столбца, обновление столбца и т. д. Выход преобразования карты всегда будет иметь то же количество записей, что и вход.

В нашем примере подсчета слов мы добавляем новый столбец со значением 1 для каждого слова. Результатом RDD является PairRDDFunctions, который содержит пары ключ-значение, слово типа String в качестве ключа и 1 типа Int в качестве значения. Для вашего понимания я определил переменную rdd3 с типом.

val rdd3:RDD[(String,Int)]= rdd2.map(m=>(m,1))
 
filter() Преобразование

filter() Преобразование используется для фильтрации записей в RDD. В нашем примере мы фильтруем все слова, начинающиеся с «а».

val rdd4 = rdd3.filter(a=> a._1.startsWith("a"))
 

reduceByKey() Преобразование

reduceByKey() объединяет значения для каждого ключа с указанной функцией. В нашем примере он сокращает строку слов, применяя функцию суммы к значению. Результат нашего RDD содержит уникальные слова и их количество.

val rdd5 = rdd3.reduceByKey(_ + _)
 
Преобразование sortByKey()

sortByKey() Преобразование используется для сортировки элементов RDD по ключу. В нашем примере сначала мы преобразуем RDD[(String,Int]) в RDD[(Int,String]), используя преобразование карты, и применяем sortByKey, которая в идеале выполняет сортировку целочисленного значения. И, наконец, foreach с оператором println выводит все слова в RDD и их количество в виде пары ключ-значение на консоль.

val rdd6 = rdd5.map(a=>(a._2,a._1)).sortByKey()
//выводим результат rdd6 на консоль
rdd6.foreach(println)
 

Пример полного преобразования Spark RDD

пакет com.sparkbyexamples.spark.rdd
импортировать org.apache.spark.rdd.RDD
импортировать org.apache.spark.sql.SparkSession
объект WordCountExample {
  def main(args:Array[String]): Unit = {
    val spark:SparkSession = SparkSession. builder()
      .мастер("местный[3]")
      .appName("SparkByExamples.com")
      .getOrCreate()
    val sc = spark.sparkContext
    val rdd:RDD[String] = sc.textFile("src/main/resources/test.txt")
    println("начальное количество разделов:"+rdd.getNumPartitions)
    val reparRdd = rdd.repartition(4)
    println("количество повторных разделов:"+reparRdd.getNumPartitions)
    //rdd.coalesce(3)
    rdd.collect().foreach(println)
    // преобразование rdd flatMap
    val rdd2 = rdd.flatMap(f=>f.split(" "))
    rdd2.foreach(f=>println(f))
    //Создаем кортеж, добавляя 1 к каждому слову
    val rdd3:RDD[(String,Int)]= rdd2.map(m=>(m,1))
    rdd3.foreach(println)
    // Преобразование фильтра
    val rdd4 = rdd3.filter(a=> a._1.startsWith("a"))
    rdd4.foreach(println)
    //Преобразование ReduceBy
    val rdd5 = rdd3.reduceByKey(_ + _)
    rdd5.foreach(println)
    // Поменять местами слово, количество и преобразование sortByKey
    val rdd6 = rdd5.map(a=>(a._2,a._1)).sortByKey()
    println("Окончательный результат")
    //Действие - по каждому
    rdd6. foreach(println)
    //Действие - считать
    println("Счетчик: "+rdd6.count())
    //Действие - первое
    val firstRec = rdd6.first()
    println("Первая запись: "+firstRec._1 + ","+ firstRec._2)
    //Действие - макс.
    значение datMax = rdd6.max()
    println("Максимальная запись: "+datMax._1 + ","+ datMax._2)
    //Действие - уменьшить
    val totalWordCount = rdd6.reduce((a,b) => (a._1+b._1,a._2))
    println("Запись dataReduce: "+totalWordCount._1)
    //Действие - взять
    val data3 = rdd6.take(3)
    data3.foreach(f=>{
      println("Ключ data3:"+f._1 +", Значение:"+f._2)
    })
    //Действие - собрать
    данные val = rdd6.collect()
    data.foreach(f=>{
      println("Ключ:"+f._1 +", Значение:"+f._2)
    })
    //Действие - сохранитьAsTextFile
    rdd5.saveAsTextFile("c:/tmp/wordCount")
    
  }
}
 
Заключение

В этом учебном пособии по преобразованиям Spark RDD вы узнали о различных функциях преобразования и их использовании с примерами Scala и проектом GitHub для быстрого ознакомления.

Счастливого обучения!!

  • Расчет размера кадра данных Spark и RDD
  • Создайте Spark RDD с помощью Parallelize
  • Различные способы создания Spark RDD
  • Преобразование Spark RDD в DataFrame | Набор данных
  • Spark RDD Действия с примерами
  • Пример операции Spark RDDaggregate()
  • Пример функции сокращения RDD Spark()

0
Акции


  • Более

Apache Spark RDD Operations — Javatpoint

следующий →
← предыдущая

СДР обеспечивает два типа операций:

  • Трансформация
  • Действие

Трансформация

В Spark роль преобразования заключается в создании нового набора данных из существующего. Преобразования считаются ленивыми, поскольку они вычисляются только тогда, когда действие требует возврата результата в программу-драйвер.

Давайте посмотрим на некоторые часто используемые преобразования RDD.

Трансформация Описание
карта (функция) Возвращает новый распределенный набор данных, сформированный путем передачи каждого элемента источника через функцию func.
фильтр(функция) Возвращает новый набор данных, сформированный путем выбора тех элементов источника, для которых func возвращает значение true.
плоская карта (функция) Здесь каждый элемент ввода может быть сопоставлен с нулем или более элементами вывода, поэтому func должна возвращать последовательность, а не один элемент.
mapPartitions(func) Похож на map, но выполняется отдельно для каждого раздела (блока) RDD, поэтому func должен иметь тип Iterator => Iterator при работе на RDD типа T.
картаPartitionsWithIndex(func) Это похоже на mapPartitions, который предоставляет func целочисленное значение, представляющее индекс раздела, поэтому func должен иметь тип (Int, Iterator) => Iterator при работе на RDD типа T.
проба(с заменой, фракция, затравка) Он выбирает дробную часть данных с заменой или без нее, используя заданное начальное число генератора случайных чисел.
союз (другой набор данных) Возвращает новый набор данных, содержащий объединение элементов исходного набора данных и аргумента.
пересечение (другой набор данных) Возвращает новый RDD, содержащий пересечение элементов исходного набора данных и аргумента.
различное ([numPartitions])) Возвращает новый набор данных, содержащий отдельные элементы исходного набора данных.
groupByKey([numPartitions]) Возвращает набор данных из (K, Iterable) пар при вызове набора данных из (K, V) пар.
уменьшитьByKey(func, [numPartitions]) При вызове набора данных из (K, V) пар возвращает набор данных из (K, V) пар, где значения для каждого ключа агрегированы с использованием заданной функции сокращения func, которая должна иметь тип (V, V) = > В.
aggregateByKey(zeroValue)(seqOp, combOp, [numPartitions])При вызове набора данных из пар (K, V) возвращает набор данных из пар (K, U), где значения для каждого ключа агрегированы с использованием заданных функций объединения и нейтрального «нулевого» значения.
sortByKey([по возрастанию], [numPartitions]) Возвращает набор данных пар ключ-значение, отсортированных по ключам в порядке возрастания или убывания, как указано в логическом возрастающем аргументе.
присоединиться (otherDataset, [numPartitions]) При вызове для наборов данных типа (K, V) и (K, W) возвращает набор данных из пар (K, (V, W)) со всеми парами элементов для каждого ключа. Внешние соединения поддерживаются через leftOuterJoin, rightOuterJoin и fullOuterJoin.
когруппа (otherDataset, [numPartitions]) При вызове для наборов данных типа (K, V) и (K, W) возвращает набор данных из (K, (Iterable, Iterable)) кортежей. Эта операция также называется groupWith.
декартовый (другой набор данных) При вызове для наборов данных типов T и U возвращает набор данных из пар (T, U) (все пары элементов).
труба (команда, [envVars]) Передайте каждый раздел RDD через команду оболочки, например. скрипт Perl или bash.
объединение(количестворазделов) Уменьшает количество разделов в RDD до numPartitions.
перераспределение(количестворазделов) Произвольно перетасовывает данные в RDD, чтобы создать больше или меньше разделов и сбалансировать их между ними.
repartitionAndSortWithinPartitions(разделитель) Он перераспределяет RDD в соответствии с заданным разделителем и в каждом результирующем разделе сортирует записи по их ключам.

Действие

В Spark роль действия заключается в том, чтобы вернуть значение программе-драйверу после выполнения вычисления в наборе данных.

Давайте посмотрим на некоторые часто используемые действия RDD.

Действие Описание
уменьшить (функция) Он объединяет элементы набора данных с помощью функции func (которая принимает два аргумента и возвращает один). Функция должна быть коммутативной и ассоциативной, чтобы ее можно было правильно вычислить параллельно.
собрать() Возвращает все элементы набора данных в виде массива в программу-драйвер. Обычно это полезно после фильтра или другой операции, которая возвращает достаточно маленькое подмножество данных.
счет() Возвращает количество элементов в наборе данных.
первый() Возвращает первый элемент набора данных (аналогично take(1)).
возьми(н) Возвращает массив с первыми n элементами набора данных.
takeSample(withReplacement, num, [seed]) Возвращает массив со случайной выборкой из num элементов набора данных, с заменой или без нее, с необязательным предварительным указанием начального числа генератора случайных чисел.
takeOrdered(n, [заказ]) Возвращает первые n элементов СДР, используя либо их естественный порядок, либо пользовательский компаратор.
saveAsTextFile (путь) Используется для записи элементов набора данных в виде текстового файла (или набора текстовых файлов) в указанный каталог в локальной файловой системе, HDFS или любой другой файловой системе, поддерживаемой Hadoop. Spark вызывает toString для каждого элемента, чтобы преобразовать его в строку текста в файле.
saveAsSequenceFile (путь)
(Java и Scala)
Используется для записи элементов набора данных в виде Hadoop SequenceFile по заданному пути в локальной файловой системе, HDFS или любой другой файловой системе, поддерживаемой Hadoop.
saveAsObjectFile (путь)
(Java и Scala)
Используется для записи элементов набора данных в простом формате с использованием сериализации Java, которые затем могут быть загружены с помощью SparkContext.