Каково это быть собакой?
Лично я понятия не имею. Разумеется, существует множество данных об их поведении. Произнесите определённую фразу или предложите любимое лакомство и, скорее всего, собака отреагирует.
Не будем строить иллюзий, наши теории о бытии пёсиков всего лишь красивые истории, полученные методом обратного проектирования. Хотя они и могут дать нам некоторые подсказки о действиях животных. "На твоём месте я бы..." по сути бесполезная фраза, особенно в отношении собак. Вы не они, поэтому не можете представить на что это похоже.
Тот же самый принцип подходит и для компьютеров, и для инструментов "искусственного интеллекта". Мы придумываем истории чего именно хочет компьютер. Но это лишь способ объяснить наши предположения о его функционировании, а никак не утверждение о том, каково это в реальности быть устройством или программой.
Ну и конечно (как Вы наверно догадались) идея подходит и для понимания других людей. Всё, что мы знаем на практике, это как быть собой. Дальше идут предположения. Эмпатия необходима, но она невероятно трудна.