Dynamic Content-based Indexing in Mobile edge Networks

Abstract

Recently, we have seen a huge growth in the usage of mobile devices, and with this growth, the data generated has also increased, being in a huge scale, user generated, e.g, photos, books, texts or messages/e-mails. Usually this data requires a permanent storage and its respective indexing for users to efficiently access it however, due to the unpredictability of this data, a concern regarding its indexing starts to raise as it can be hard to predict labels and indexes capable of representing every possible set of data. For instance, during a birthday party, users may want to share photos and videos of this event which can be seen as uploading streams of data to a content sharing system. This content stream will most likely have no index, unless it is explicitly generated, making its retrieval difficult. However, when clustering this stream, as data keeps increasing, we might, somewhere in the future, be capable of detecting similarities between each photo (e.g. a guest’s face) and might want to index them. Indices can directly impact a system’s performance however, there is a drawback from having either too many or too few indices, posing a challenge when it comes to evolving content. We propose Chives, a Content-Based Indexing framework, built on top of a content sharing publish/subscribe system at the edge named Thyme, where we evaluate unsupervised learning in data stream techniques to generate indices. It also offers a content-based query to automatically subscribe to indices containing similar content, e.g images. After evaluating our proposal in a simulated environment, we can see that our framework offers a great abstraction, allowing an easy extension, furthermore our implementation can generate indices from data streams and the indexing follows a clustering criteria, generating the indices as conditions are met. Furthermore, results show that our clustering quality and consequently its generated indices rely strongly on the quality of the image discrimination and its ability to extract features representing its face. In Conclusion, more studies should be done regarding this framework as such, our solution is built in a way where we can exclusively study each component and upgrade it in future work.

Recentemente, tem-se observado um enorme crescimento na adesão a dispositivos móveis e com este crescimento, tem também aumentado a quantidade de dados partilhados, sendo em grande escala, gerado pelos utilizadores, por exemplo, fotos, livros, textos ou até mensagens/e-mails. Normalmente estes dados necessitam de um local de armazenamento permanente e a sua respectiva indexação de modo a poderem ser acedidos de forma eficiente por parte dos utilizadores no entanto, dada a imprevisibilidade destes dados, pode surgir um problema relativamente à indexação dado que poderá ser difícil prever etiquetas e índices capazes de representar qualquer conjunto de dados. Por exemplo, durante uma festa de anos, utilizadores poderão partilhar fotografias e vídeos deste evento que poderá ser também interpretado como um upload de dados em stream para um sistema de partilha de conteúdo. Esta stream de dados, muito provavelmente não terá nenhum índice capaz de o descrever, tornando difícil a obtenção deste visto que não existe representação semântica desta. No entanto, ao agrupar esta stream, à medida que os dados vão crescendo, poderemos, algures no tempo ser capaz de detectar semelhanças entre cada fotografia (por exemplo. a cara de um convidado) e podemos querer indexar. Índices podem causar um impacto directo sobre o sistema, no entanto o inverso pode acontecer quando existe índices em défice ou em excesso, apresentando um desafio acerca de dados evolutivos. Nós propomos uma framework de indexação baseada em conteúdo, construído por cima de um sistema de partilha de conteúdo que usa um sistema de Publish/Subscribe na edge denominado Thyme, onde avaliamos técnicas de aprendizagem não supervisionada em data streams para gerar dinamicamente índices. Depois de avaliar a nossa framework, conseguimos concluir que esta oferece uma boa abstração, facilitando a sua extensão, para além disso a nossa proposta permite gerar índices quando as condições definidas para o clustering são respeitadas. Para além disso, os resultados demonstram que o clustering realizado pelo nosso algoritmo dependem fortemente da qualidade de discriminação de imagens e das características obtidas por este discriminador em relação às faces. Concluindo, mais estudos devem feitos em relação à framework, como tal esta foi construída de modo a permitir uma rápida e fácil extensão para futuros melhoramentos.