Автоматика MG 08 действует по принципу использования энергии отдачи ствола при его коротком ходе. Запирание ствола осуществляется с помощью кривошипно-шатунного механизма. После выстрела пороховые газы отбрасывают ствол назад, тем самым приводя в действие механизм перезаряжания. Патрон извлекается из матерчатой ленты, досылается в патронник, одновременно с этим взводится затвор.
Все основные механизмы пулемета смонтированы в кожухе и коробе. Кожух служит для направления ствола во время его движения, а также используется в качестве резервуара для охлаждающей жидкости. В коробе расположены механизмы автоматики пулемета. На задней стенке короба размещаются часть деталей спускового механизма и две рукоятки управления. Жестко соединенные между собой кожух и короб образуют тело пулемета, которое устанавливается на станок.
Ударно-спусковой механизм ударникового типа позволяет вести только автоматический огонь.
Охлаждение ствола водяное. Прицельные приспособления пулемета состоят из стоечного прицела, установленного на крышке короба, и мушки, закрепленной на передней части кожуха. Известны случаи, когда на пулеметах MG 08 устанавливался оптический прицел. В этом случае кронштейн крепления прицела монтировали на левой стенке короба.
В качестве боеприпасов применяются 7,92 мм патроны Маузера, которые подаются из ленты справа. Вначале использовали тканевые, а затем стальные ленты.
Станок представляет собой салазки для перетаскивания пулемета волоком, или переноски на носилках. Салазки состоят из двух станин, имеют специальные вырезы, позволяющие устанавливать пулемет на разную высоту.
До конца 1920-х гг. пулемет подвергался неоднократным усовершенствованиям. Кнопка с предохранительным валом была заменена на спусковое устройство. Каретка и станок оснащены градуированной шкалой, насадками, боковыми ограничителями и ограничителем высоты, а также устройством для ведения низкой стрельбы. Появились авиационные прицелы, состоявшие из прицельного шипа и круглой мушки, а также универсальные треножные станки, пригодные как для ведения наземного боя, так и для противовоздушной обороны.