Как захватить звук на Mac и не попасть впросак
«Вообще ничего не работало», написал знакомый и прислал архив диагностики. По логу всё было прилично: разрешения выданы, модели скачаны, индикаторы громкости во время звонка прыгали. Разговор шёл двадцать минут, в папке звонка лежали два пустых файла.
Я делаю Sozvon, опенсорсный рекордер и расшифровщик звонков для Mac. Он пишет Zoom, Meet, Telegram, FaceTime и расшифровывает запись локально. Из этой одной жалобы за неделю выросло пять багов, и все про одно: что происходит со звуком, когда человек надевает или снимает Bluetooth-наушники. Ниже все пять, с логами и кодом.
Как устроен захват
Sozvon пишет две дорожки: mic.m4a (мой голос) и system.m4a (собеседники и всё, что играет в системе). С раздельными дорожками проще вычитать эхо и разделять спикеров.
-
Микрофон берётся через ScreenCaptureKit (captureMicrophone).
-
Системный звук берётся через process tap из Core Audio (macOS 14.2+). Тап это «отвод» от звукового выхода, как врезка в трубу: звук Zoom или Meet идёт в наушники как обычно, а Sozvon получает его копию. Технически Sozvon собирает виртуальное агрегатное устройство из настоящего выхода и тапа и читает из него. Дальше важны две вещи: тап создаётся под формат выхода (например, 48 кГц) и под конкретное устройство.
Системный звук тоже можно было бы брать через ScreenCaptureKit, но он не слышит FaceTime, а тап слышит. Поэтому ScreenCaptureKit для системного звука оставлен запасным вариантом: когда тап не стартовал или пользователь не дал разрешение на запись системного аудио.
Грабли 1. В звонке наушники работают на 16 кГц, а кодировщик AAC с этим не согласен
Кусок лога из того архива:
system audio: process tap on A8-37-…:output, 16000.0 Hz 2 ch mic.m4a: lpcm 16000.0 Hz, 1 ch, 16 bit cannot open mic.m4a: Error Domain=com.apple.coreaudio.avfaudio Code=560226676 {failed call=AudioConverterSetProperty(converter, kAudioConverterEncodeBitRate, …)}, not writing this track cannot open system.m4a: … kAudioConverterEncodeBitRate …, not writing this track
Когда звонок открывает микрофон Bluetooth-наушников, они переходят из A2DP (музыка, 44,1 или 48 кГц, только выход) в режим гарнитуры HFP, и микрофон с выходом начинают работать на 16 кГц, а то и на 8. Файл дорожки открывался с битрейтом 64 кбит/с на канал. На 16 кГц системный кодировщик AAC такой битрейт не принимает, и AVAudioFile(forWriting:) бросает ошибку. Дорожка помечается как непишущаяся, чтобы не повторять попытку на каждом пакете, и до конца звонка остаётся пустой. Индикаторы при этом показывают уровень, потому что меряют буферы до записи. Отсюда и «в логе всё прилично».
Исправление: ограничить битрейт частотой.
// 64 кбит/с на канал AAC не берёт на 16 кГц: ограничиваем частотой AVEncoderBitRateKey: Int(fmt.channelCount) * min(64000, 2 * Int(fmt.sampleRate)),
Если кодировщик откажет и тут, файл открывается второй раз, уже без ключа битрейта: пусть выбирает сам. Что именно AAC принимает на разных частотах, можно проверить без кода, через afconvert: 64 кбит/с на 8 и 16 кГц моно он отвергает, 2 × частота принимает.
Битрейт был рассчитан на 48 кГц и зашит константой. Формат первого буфера может оказаться любым.
Грабли 2. Тап считает, что там всё ещё 48 кГц
Если запись началась, пока наушники в A2DP, тап создаётся на 48 кГц. Потом звонок открывает микрофон, наушники уходят в HFP на 16 кГц, а агрегатное устройство и тап продолжают отдавать формат 48 кГц. В файле получается каша, ускоренная в три раза. Это не нули, поэтому проверка «тап оглох, пересоздай» на неё не срабатывает.
Теперь Sozvon смотрит на номинальную частоту устройства вывода (kAudioDevicePropertyNominalSampleRate) и слушает её изменения. Пока выход в режиме гарнитуры (меньше 44,1 кГц), системный звук пишет ScreenCaptureKit: он отдаёт нормальный звук и за выходом по умолчанию следит сам. Звонок закончился, частота вернулась, запись возвращается на тап.
Сначала я переключался по признаку «выход через Bluetooth», и это было ошибкой. AirPods в роли наушников, когда микрофон у Mac, остаются на 48 кГц, тап там работает и слышит FaceTime. ScreenCaptureKit FaceTime не слышит, так что переключать надо только по частоте. FaceTime целиком в AirPods, с их микрофоном, по-прежнему слабое место.
Вторая деталь: AirPods переходят в HFP в тот момент, когда открывается микрофон, то есть одновременно со стартом записи. Проверку режима гарнитуры приходится повторять сразу после того, как навешаны слушатели, иначе переход попадает в промежуток между проверкой и подпиской.
Грабли 3. Тап привязан к устройству
В первой версии исправления (её прислал контрибьютор, о нём в конце) тап стал пересоздаваться не на каждую смену устройства вывода, а только при смене режима гарнитуры. Выглядело разумно: с частотой всё в порядке, тап можно не трогать.
Но агрегатное устройство собирается под UID конкретного выхода. Если наушники выдернуть, оно не отдаёт нули, оно перестаёт отдавать что-либо. Проверка на цифровую тишину молчит, потому что пакетов нет вообще, и голос собеседника пропадает, пока не сработает общий таймаут: две минуты тишины, после которых источник захватывается заново.
В итоге тап пересоздаётся на каждую смену устройства вывода, а проверка режима гарнитуры решает только одно: тап или ScreenCaptureKit.
Грабли 4. ScreenCaptureKit держится за пропавший микрофон
Это нашлось уже на живом тесте. Bluetooth-наушники Anker, Google Meet, запись идёт, выключаю Bluetooth. Meet переключается на микрофон Mac. Sozvon перестаёт показывать уровень, а потом сообщает «Тебя не слышно».
За выходом по умолчанию ScreenCaptureKit следит сам, а за микрофоном нет: какое устройство открыл, то и держит. Устройство исчезло, поток молчит, ошибки нет. Раньше выручал тот же общий таймаут, то есть в записи посреди звонка получалась дыра на две минуты.
Теперь рекордер подписан на смену микрофона по умолчанию:
var addr = AudioObjectPropertyAddress( mSelector: kAudioHardwarePropertyDefaultInputDevice, mScope: kAudioObjectPropertyScopeGlobal, mElement: kAudioObjectPropertyElementMain) AudioObjectAddPropertyListenerBlock(AudioObjectID(kAudioObjectSystemObject), &addr, .main) { _, _ in Task { @MainActor in await recorder.recapture(.mic) } }
Сначала стартует новый поток, потом отключается старый, перекрытие отсекается по таймстемпам, и дыры в дорожке нет. Файл сохраняет формат первого буфера, а всё, что приходит в другом (16 кГц от наушников, 48 кГц от Mac), конвертируется на лету.
Грабли 5. Уведомления приходят пачкой
Отключение наушников порождает не одно событие, а несколько: сменился выход, сменилась частота, сменился вход, иногда по два раза. Каждое запускало своё переподключение. Два одновременных старта ScreenCaptureKit для одного источника, и macOS перестаёт отвечать, пока не сработает мой же таймаут на старт потока:
starting the capture failed: The recording didn’t start: macOS didn’t respond within 10 seconds. starting the capture failed: The recording didn’t start: macOS didn’t respond within 10 seconds.
Через десять секунд всё поднялось, но этих десяти секунд системного звука в записи нет.
Теперь изменения захвата идут по одному на источник. Запрос, пришедший во время работы предыдущего, запоминается и выполняется один раз после него. Если в очереди оказались и «сменилось устройство», и «перепроверь режим гарнитуры», побеждает первое.
private var busy: Set<Source> = [] private var pending: [Source: Bool] = [:] // true: принудительно, false: только перепроверить private func serialized(_ source: Source, forced: Bool) async -> Bool { if busy.contains(source) { pending[source] = (pending[source] ?? false) || forced return false } busy.insert(source); defer { busy.remove(source) } var ok = await step(source, forced: forced) while let again = pending.removeValue(forKey: source) { ok = await step(source, forced: again) } return ok }
Как это проверяли
Юнит-тестом такое не поймать, нужны настоящие наушники. Я собрал тестовую копию приложения со своим bundle id и своей папкой данных, чтобы не трогать рабочую установку, и прогнал сценарии:
-
Meet уже идёт в наушниках, запись стартует в режиме гарнитуры (случай из диагностики).
-
Посреди записи выключить Bluetooth, говорить в Mac.
-
Включить обратно, дождаться, пока Meet переключится, ещё раз выключить.
Собеседник для этого не нужен: наушники уходят в HFP сами, как только кто-то открывает их микрофон, а за «собеседника» играет музыка или любое видео. Дальше разбор recorder.log и уровней дорожек по секундам.
Микрофон пишется все 73 секунды без дыр, переключения на микрофон Mac и обратно занимают меньше секунды, в расшифровке ни одна фраза не потерялась. Тишина на системной дорожке приходится на паузы в музыке.
А на Windows?
Sozvon сейчас портируется на Windows, и тот же список я прогнал там. Картина другая.
-
Битрейт не проблема. Поток просит у WASAPI 48 кГц float с AUDCLNT_STREAMFLAGS_AUTOCONVERTPCM, Windows сама пересчитывает 8/16/24/44,1 кГц, а AAC кодируется после звонка.
-
Hands-Free там отдельное устройство. Наушники могут быть видны как два эндпоинта, Stereo и Hands-Free. Звонок играет в Hands-Free, устройством по умолчанию остаётся Stereo, и loopback с устройства по умолчанию теряет собеседника. Пришлось писать второй loopback на тот выход, где прямо сейчас есть активная сессия.
-
Смена устройства ловится через IMMNotificationClient::OnDefaultDeviceChanged, пропажа через AUDCLNT_E_DEVICE_INVALIDATED, после чего открывается новое устройство по умолчанию.
-
Сон и закрытая крышка: запись сохраняется перед уходом в сон (PBT_APMSUSPEND), чтобы не получить часы тишины.
Чеклист
Если вы пишете что-то, что захватывает звук:
-
Не зашивайте параметры кодировщика под 48 кГц. Первый буфер может прийти на 16 или на 8.
-
Дорожка, которая не открылась, должна быть видна пользователю сразу, а не через двадцать минут.
-
Следите за сменой входа и выхода по умолчанию и за частотой текущего выхода.
-
Тап и агрегатное устройство привязаны к конкретному выходу, пересоздавайте их на каждую смену.
-
Сериализуйте переподключения: уведомления приходят пачками.
-
Проверяйте руками, с настоящими Bluetooth-наушниками, в обе стороны: надеть посреди звонка и снять.
Про контрибьютора
Первую версию исправления битрейта и переключения на ScreenCaptureKit прислал человек из сообщества, в одном пулл-реквесте с двумя новыми ассистентами для саммари (OpenCode и ZCode). Ревью вышло долгим: в процессе нашлись ещё три бага из этого списка, часть я дочинил сам, и всё ушло одним релизом 0.1.7. Он пришёл чинить свой баг, а баг оказался общим ещё для нескольких человек.
Код открыт: github.com/Able1991/sozvon. Если у вас Bluetooth-наушники и Sozvon вёл себя странно, обновитесь и напишите, как теперь.
Теги:
- Core Audio
- ScreenCaptureKit
- Bluetooth
- запись звука
- WASAPI
Хабы:
- macOS
- Open source
- Звук
- Swift