DS3 Weapons - Scraping and Text analysis

Project that captures information about all Dark Souls 3 (DS3) weapons and performs textual analysis on.

About The Project

Project of the discipline Projeto Integrador IV of the 4º semester of the course of Technology in Big Data for Business at FATEC Ipiranga. Supervised by Marco Mazzei.

Portuguese description

O projeto tem como objetivo capturar informações da wiki de Dark Souls 3 referente as armas encontradas no jogo e realizar uma análise sobre o texto encontrado.

Dentro do projeto foi aplicado a técnica de Topic Modelling

O que é Topic Modelling?

A modelagem de tópicos é o processo de extrair os principais temas de um determinado corpus de dados de texto.

Wikipedia: No aprendizado de máquina e no processamento de linguagem natural, um modelo de tópico é um tipo de modelo estatístico para descobrir os "tópicos" abstratos que ocorrem em uma coleção de documentos.

Built With

• Python 3.8.15
• Apache Spark 3.1.2
• Spark NLP 4.2.4

Getting Started

For the use of the project, some prerequisites will be necessary.

Prerequisites (Windows)

• Python
  1. You can download here: Python
  2. Here is a step-by-step installation tutorial. (Tutorial)
     1. Tutorial with Miniconda. (Tutorial)
• Poetry
  1. You can install here: Poetry
• Apache Spark
  1. Follow the step by step: Spark

Installation and usage

1. Clone this repo.

   git clone https://github.com/Arekushi/ds3-scraping-text-analysis.git

2. Install packages with Poetry

   poetry install

3. Download the FAT JAR from Spark NLP and put it wherever you want

   1. You can find here: https://github.com/JohnSnowLabs/spark-nlp/releases

4. Go to ./src/config/settings.toml and edit spark_nlp_jar_path value to your path.

   spark_nlp_jar_path = 'C:\\spark\\jars\\spark-nlp-assembly-4.2.4.jar'

5. Execute:

   python ./main.py

6. Done, the whole process has been completed 🎉

   1. You can see the results inside the ./src/data folder

Roadmap

Will be added soon...

Video

Will be added soon...

Acknowledgments

Here in this link you can see all the material I used to build the project. 😉

Contributors

Alexandre Ferreira de Lima