[milkway69]

Cześć #programista15k , jestem na stażu .net na drugim roku studiów, robię narzędzie pod normalizacje danych. Normalizator ten miałby dostawać jakieś dane z czujników IoT a wtedy; usuwać rekordy z odstającymi wartościami, usuwać niekompletne rekordy i usuwać duplikaty. Jako jedyne dane dostałem plik csv, z realnymi danymi, z czujnika wilogtności. Co prawda napisałem pod to normalizator tylko że jest on zrobiony bardzije pod sama tą csv. Ma on być na tyle generyczny aby mógł działać z byle jakimi danymi w byle jakiej formie. Napisałem go tak że jest on rozszerzalny i generyczny jak potrafię -używałem do tego interfejsów generycznych. Jednak chciałbym jakoś bardziej go zgeneralizować a w internecie źródeł brak, dużo szukałem. I tu pojawia się pytanie do was czy macie może jakieś doświadczenie z taka wczesna obróbką danych, lub natkneliście się na jakieś konkretne info o tym? pozdro #programowanie

[keton22]

@milkway69: to co ja bym zrobił to zwyczajnie napisał kod który przekształci dane z dowolnej formy do tego csv i poprawił żeby csv nie musiał być plikiem a buforem w pamięci i pora na CSa.

[milkway69]

@keton22: Ooo dzięki, to już dużo mi powiedziałeś :)

[Krolik]

@milkway69: zacznij od zastanowienia się co się zmienia a co jest niezmienne. Przykładowo co z tych rzeczy może się zmieniać:
- format wejściowy (np zamiast csv będzie xml)
- liczba kolumn z danymi
- typy danych (np czasem będą integery a czasem floaty a czasem jakiś bigdecimal)
- format wyjściowy
- reguły przetwarzania danych (np czasem będziesz potrzebował wyrzucać duplikaty a czasem nie)

I teraz w zależności od tego co i

[milkway69]

@Krolik: Dzięki wielkie!