Простой путь:
Находясь в визуальном режиме на главной странице нажмите сверху "Редактировать эту страницу", затем переключитесь во вкладку Favicon, и закачайте иконку.

Путь посложнее:
Нужно закачать иконку в раздел Дизайн - Изображения, а затем вставить в шаблон base.html в область текст

<link rel="icon" href="/images/favicon.ico" type="ico">