Простой путь:
Находясь в визуальном режиме на главной странице нажмите сверху "Редактировать эту страницу", затем переключитесь во вкладку Favicon, и закачайте иконку.
Путь посложнее:
Нужно закачать иконку в раздел Дизайн - Изображения, а затем вставить в шаблон base.html в область текст
<link rel="icon" href="/images/favicon.ico" type="ico">, где favicon.ico это, собственно, файл иконки.