Las bases de datos se almacenan físicamente en ficheros de discos magnéticos, por lo que se hace necesario estudiar cómo se organizan las bases de datos en los dispositivos de almacenamiento y las técnicas que se pueden utilizar para acceder eficientemente a ellas.
Hay varias organizaciones de ficheros que determinan cómo se colocan los registros físicamente en el disco y, por lo tanto, cómo se puede acceder a los registros de datos. Un fichero desordenado pone los registros sin seguir un orden específico, añadiendo los registros nuevos al final del fichero, mientras que un fichero ordenado mantiene los registros ordenados según el valor de un campo concreto. Un fichero disperso utiliza una función, que aplicada sobre un campo en particular, determina la posición del registro en el disco. Cada una de estas organizaciones favorece un tipo de accesos, pero penaliza otros, por lo que no hay una que se pueda considerar la mejor. Dependiendo del tipo y la frecuencia de los accesos, será más conveniente una organización u otra.
Hay otras organizaciones de ficheros que utilizan estructuras en forma de árbol. Estas organizaciones no se suelen utilizar para almacenar datos, sino para crear estructuras de acceso auxiliares que permiten acceder a los datos eficientemente, a través de campos alternativos a aquellos que se han utilizado para organizar el fichero de datos. A estas estructuras de acceso se las denomina índices y también las hay de varios tipos.