Konsten att registrera rätt mängd data

Hantera stora datafiler

Samplings- och datahastigheter

Nyquist-teoremet säger att en signal måste förvärvas med en hastighet som är minst dubbelt så stor som bandbredden, men det är önskvärt att ha en högre samplingsfrekvens på grund av avrullning av antialiasfilter och andra parametrar. Inom signalbehandling och RF är det vanligt att man arbetar med IQ-data (In-phase and Quadrature data). Förklaringen av IQ-data finns i både litteratur och på nätet. Varje sampel i tiden är ett par av I och Q. En vanlig översamplingsfaktor är IQ rate=1,25*bandbredd, vilket ger tillräckligt med utrymme för antialiasingfiltret. En modern vektorsignalanalysator kan ha bandbredder på 800 MHz och mer och med den översampling som just nämnts är IQ-frekvensen 1 GHz. Med 16-bitars I och 16-bitars Q blir datahastigheten 4GByte/s. I RF-övervakningsapplikationer behöver systemen ofta övervaka spektrumet under långa tidsperioder och 24/7-drift är inte ovanligt. En datahastighet på 4 GB/s ger 345,6 TB data per dag, vilket kräver mycket lagringsutrymme och lagringsutrymmet kan också vara ganska dyrt eftersom det måste kunna ha höga skrivhastigheter. Ett sätt att komma runt detta är att bara lagra de senaste timmarnas data och kontinuerligt radera den äldsta registrerade datan. Lagringsenheter har dock en livslängd och ett mått på det är TBW, Terabytes Written. SSD-enheter för konsumentbruk har en TBW på upp till 600 TBW för en 1 TB-modell. Med den datahastighet som nämns ovan skulle 600 TBW ge mindre än 42 timmars inspelningstid på en enda enhet, vilket inte är mycket för 24/7-drift. Genom att öka antalet enheter eller köpa diskenheter av industrikvalitet med en TBW på upp till 2000 TBW för en 1 TB-modell förbättras tiden till fel men också kostnaden. Att spela in all data är alltså inte alltid ett alternativ. Något annat man bör tänka på är hur man bearbetar stora datamängder för att kunna ta fram den information som behövs och var man gör det. När data har lagrats och behöver bearbetas uppstår andra flaskhalsar. Det går ofta lite snabbare att läsa data från lagringsmediet än att skriva till det, men vi begränsas alltid av den långsammaste länken i systemet. Även om du har en RAID-array med flera NVMe-enheter som teoretiskt skulle kunna leverera 72 GB/s bara baserat på antalet enheter och läs-/skrivhastigheten, kommer databakplanet, t.ex. en PCIe-buss, att begränsa överföringshastigheten. Denna flaskhals kommer att finnas där oavsett om data ska skickas till processorn för bearbetning eller skickas till en extern enhet som en back-end-server. Det spelar ingen större roll om du har världens största beräkningskluster om du inte kan skicka data till det tillräckligt snabbt. Därför är det viktigt att hitta sätt att bara registrera de data som behövs. Genom att göra det kan vi minska lagringsutrymmet, överföringstiden och bearbetningstiden. Resultatet blir kortare tid från inspelning till resultat och minskade kostnader.

Automatisk signaldetektering

De ovan nämnda teknikerna kan alla användas manuellt genom att operatören konfigurerar bandbredden och sedan startar och stoppar inspelningen. Ett bättre sätt är att låta inspelningssystemet automatiskt upptäcka och spela in de signaler som är av intresse.

För att avgöra när och hur länge signalen är aktiv eller hur mycket bandbredd den upptar kan olika typer av signaldetekteringsalgoritmer användas. De flesta generella metoder bygger på att detektera om det sker en ökning av energin. Två vanliga metoder är en frekvensmasktrigger och en analog kanttrigger. Den analoga kantdetekteringen mäter signalnivån eller effekten för hela bandet och triggar när den går över ett tröskelvärde. Även om det kallas analog edge görs det ofta digitalt. Med den här metoden är det möjligt att detektera mycket korta signaler och få en mycket exakt triggertid för när signalen startade. En nackdel är att alla frekvenser i bandet kommer att triggas, så om det finns flera signaler i bandet kan det hända att fel signal triggas. Frekvensmasktriggern bygger på FFT (Fast Fourier Transforms). FFT:en delar upp spektrumet i många frekvensbins och signalnivån i varje bin kan jämföras med ett tröskelvärde. En FFT beräknas på ett visst antal sampel, t.ex. 1024. En längre FFT ger bättre frekvensupplösning men kräver fler sampel och har därmed sämre tidsupplösning. För triggade applikationer, även om inte alla data sparas, måste alla data bearbetas i realtid för att kunna upptäcka om ett triggervillkor har inträffat. Som tidigare nämnts ökar datamängden när bandbredderna blir större, vilket innebär större påfrestningar på triggerfunktionen. Att bearbeta 4GB/s på ett deterministiskt sätt på en CPU är en utmaning och därför överlåts uppgiften att trigga normalt till hårdvara som en FPGA som kontinuerligt kan bearbeta all data som skickas till den. Ett vanligt mått på FFT-baserade system är Probability of Intercept, POI. 100% Probability Of Intercept är ett mått på hur lång tid en signal måste vara aktiv för att systemet med 100% säkerhet ska kunna detektera den med full amplitud. För att detta ska ske måste signalen vara närvarande under minst en hel FFT och genom att ändra parametrarna samplingsfrekvens, FFT-längd och FFT-överlappning kan POI-talet skräddarsys för applikationen.