Voilà un défi intéressant. La plupart des romans de fantasy se déroule dans des mondes médiévaux, avec des brutes analphabètes qui se tapent dessus à l'épée. Il faut dire que cette époque se prête parfaitement au développement de récits merveilleux. Un monde où la science est absente, où les phénomènes naturels sont incompris, est un terreau idéal pour la magie. Mais se détacher de ce grand classique peut vous permettre décrire une œuvre originale et passionnante.

Peut-on faire cohabiter science et magie ?
La réponse est oui, mais il faut comprendre que ça apporte un certain nombre de difficultés qu'il faut prendre en compte. En effet, le principe de la science, c'est que tout phénomène peut être expliqué. Et plus on arrive à expliquer le monde qui nous entoure, moins on peut croire à la magie. Par exemple, avec la connaissance que nous avons aujourd'hui de la médecine, il n'existe plus beaucoup de gens qui pensent qu'on peut guérir une appendicite en posant sa main sur le ventre du patient. Et si ça se faisait de façon régulière, on verrait immédiatement une armée de spécialistes étudier le phénomène pour y apporter une explication rationnelle. La science et la magie semblent donc être forcées à un antagonisme constant.
C'est ce qu'on constate dans le monde réelle. La magie (les sorcières, l'achimie...) avait une grande place au Moyen-Âge. Si elle a pu cohabiter un temps avec la science balbutiante, elle a finit par être repoussée par le commun des mortels, mais existe toujours dans l'esprit d'une minorité de personnes (voyance, imposition des mains, miracles..).  
Mais vous pouvez très bien dépasser ce phénomène. Par exemple, vous pouvez imaginer un monde où la science a fait de tels progrès que de nouveaux phénomènes naturels ont été découverts, offrant à ceux qui les contrôlent la possibilité de faire de la magie. Ou alors imaginer des mages qui ne se contentent pas de lire des grimoires pleins de formules étranges mais qui cherchent à développer les sciences. D'innombrables possibilités vous sont offertes, mais il faut que ce soit suffisamment étayé pour que le lecteur puisse y croire.

Se documenter
Si vous faites intervenir des phénomène scientifiques, il vous faudra vous documenter. Quand on dit qu'un mage a lancé une boule de feu, on n'a pas besoin de plus d'explications. Quand on cherche à expliquer une réaction chimique provoquant une explosion, il vaut mieux savoir de quoi on parle, au risque de passer pour un rigolo. De plus, vous aurez besoin d'un minimum de connaissance sur les démarche scientifiques, les méthodes qui permettent d'aboutir à des conclusions techniques.

Différencier fortement les points de vue
Une fois que vous aurez opté pour une explication permettant la cohabitation de la science et de la magie, il faudra vous y tenir. Vos personnages croyant à la magie ne verront pas le monde la même façon que ceux qui se revendiquent scientifiques. Les points de vue devront être bien distincts, le vocabulaire et les façons de réfléchir différents.
Par exemple : un château qui explose.
L'adepte des arts occultes va y voir un sort issu de la magie noire. Sans doute que l'ennemi a un shaman dans ses rangs, capable de lancer des sorts de destruction. Pour que ce soit aussi puissant, il a du vendre son âme au diable.
Le scientifique, lui, va se rendre sur place et essayer de trouver des indices pour comprendre ce qu'il s'est passé. Il va se rappeler qu'il a lu un bouquin qui parlait d'une poudre qui explosait quand on y mettait le feu. Il va faire des recherches pour rassembler plus d'informations puis essayer de reproduire le phénomène, sur une maquette par exemple, et conclure que vu la puissance de l'explosion, la quantité de poudre devait être énorme.
Au final, on comprendra peut-être que c'était bien de la poudre qui a été utilisée, mais qu'un mage l'avait enchantée  pour en augmenter la puissance. A l'auteur d'expliquer comment on arrive à ces conclusions, et comment les deux intervenants peuvent tomber d'accord, acceptant chacun de se ranger aux croyances de l'autre.

Pour conclure
Vous aurez compris que mélanger science et magie présente de nombreuses difficultés. Vous devrez être capable d'expliquer comment se crée l'équilibre entre ces deux thèmes antagonistes, de gérer des points de vue sur le monde radicalement différents, et de les marier ou de les opposer avec des explications suffisamment concrètes pour que votre histoire soit crédible.