Deel 1 | Hammer Goldmine | Introductie

Bij Hammer streven we ernaar om te vinden wat anderen niet kunnen vinden. Helaas kost het vaak veel tijd om te vinden wat anderen niet kunnen vinden. Daarom kijken we, parallel aan ons reguliere werk op het gebied van marktonderzoek, voortdurend naar manieren om onze workflow te stroomlijnen. Ons grootste en meest recente project in dit opzicht is de ontwikkeling van een interne datawarehouse. Door onze eigen datawarehouse te creëren, hebben we meer controle over hoe we de gegevens kunnen vormgeven en labelen, waardoor het gemakkelijker wordt om nuttige informatie te vinden die verborgen is in de enorme hoeveelheid gegevens die tegenwoordig online beschikbaar zijn.

Binnen de Hammer-organisatie zijn in het verleden ideeën besproken voor een interne database. Het concurrentievoordeel is duidelijk wanneer je nuttige informatie sneller kunt krijgen dan je concurrenten. Het onderhouden en annoteren van een grote database is echter een vervelende en tijdrovende taak. De afweging was daarom laag, en de ideeën voor een dergelijke database bleven op de backlog. Pas toen recente technologische vooruitgangen zich aandienen, begonnen de ideeën voor een interne datawarehouse meer persistent naar voren te komen. Wat als we deze database niet zelf hoeven te onderhouden? Kunnen we een database bouwen die ons nuttige informatie biedt zonder enige menselijke interactie?

Dit is het startpunt van Hammer Goldmine.

Voor Hammer Goldmine bouwen we een autonome database die continu potentieel nuttige informatie inleest en deze toewijst aan verschillende categorieën die relevant zijn voor de verschillende soorten projecten waaraan we (of zullen) werken.

In de komende weken zullen we de afzonderlijke onderdelen van de Goldmine-pijplijn belichten en hoe we verwachten dat ze onze workflow zullen verbeteren. De Goldmine-architectuur kan worden onderverdeeld in drie segmenten:

1. Een scraper

2. Een machine learning-model

3. Een database/zoekmachine

In onze volgende blog zullen we deel 2 van Hammer Goldmine bespreken, de implementatie, scrapers en AI-model achter de database. Blijf op de hoogte!