Die Gegner der direkten Demokratie sagen, das Volk sei nicht in der Lage, Sachfragen angemessen zu beurteilen. Indirekt stellen sie damit die Demokratie insgesamt, auch die repräsentative, in Frage. Außerdem hängt die Bewertung von Alternativen letztlich nicht nur von Kenntnissen, sondern auch von Interessen und Wertepräferenzen ab. In Demokratien sollten Entscheidungen deshalb nicht nur sachgerecht sein, sondern die Wünsche der Mehrheit widerspiegeln. Außerdem ist zu beobachten, dass dort, wo die direkte Demokratie implementiert wurde, das Sachwissen der Bürger_innen im Vorfeld von Volksentscheiden steigt – in der Schweiz etwa durch ein System öffentlicher Aufklärung. Das gilt auch für Finanzfragen, die in Volksentscheiden häufig ausgeklammert werden, weil der Gesetzgeber befürchtet, das Volk werde unverantwortliche Entscheidungen treffen. Tatsächlich haben sich die Bürger_innen aber oft als sparsamer erwiesen als die Politik.
Ein weiteres Gegenargument lautet, Demagogen könnten Volksentscheide für gefährliche Zwecke und letztlich zum Schaden der Demokratie nutzen. Schon als das deutsche Grundgesetz ohne Möglichkeit von Volksentscheiden beschlossen wurde, spielte diese Überlegung eine Rolle. Denn man sah den Niedergang der Weimarer Republik und den Aufstieg des Nationalsozialismus auch als Folge von Volksentscheiden. Historisch betrachtet ist dies jedoch unzutreffend. Hinzu kommt, dass der Missbrauch von Referenden überwiegend dann geschieht, wenn sie von oben, also der Exekutive oder auch aus dem Parlament heraus, angeordnet werden. Initiativen von unten sind dagegen ein Weg, demagogischer Politik von oben entgegenzutreten.
Oft wird auch befürchtet, bei Volksentscheiden würden sich extreme Positionen (meist rechts-konservative, aber auch linke) durchsetzen. Als Beispiele werden fremdenfeindliche Volksentscheide in der Schweiz (Minarett-Verbot) oder das Brexit-Votum in Großbritannien angeführt. Bei Fällen wie dem Brexit ist aber zu bedenken, dass es in dem jeweiligen Land oft keine Tradition von Volksabstimmungen gibt und sich bei den seltenen Gelegenheiten für direkte Mitbestimmung eher angestauter allgemeiner Unmut durchsetzt als spezifische Interessen. Zudem ist es nicht so, als würden nicht auch die Volksvertretungen im Rahmen der repräsentativen Demokratie auf verschiedenen Ebenen immer wieder populistischen Tendenzen nachgeben, um sich so Stimmen für die nächsten Wahlen zu sichern.
Gegen die direkte Demokratie wird auch angeführt, sie sei unsozial, da sich statistisch gesehen an Volksentscheiden die sozial schwächeren Schichten noch weniger beteiligen als an Wahlen. Allerdings führt das nicht zwangsläufig zu unsozialeren Ergebnissen. Denn die schwache Beteiligung hat auch mit der Ausgestaltung des Beteiligungs- und Zustimmungsquorums zu tun, wie es bei vielen Volksentscheiden vorgesehen ist. Häufig liegt die Nicht-Beteiligung daher insbesondere für Menschen nahe, für die eine Beteiligung einen größeren Aufwand darstellt, wenn die Ergebnisse absehbar sind und vielleicht auch der eigenen Präferenz entsprechen.
Zuletzt wird der Einfluss von Reichen auf Volksentscheide, etwa durch die Finanzierung von Werbekampagnen, als Argument gegen die direkte Demokratie angeführt. Dieser ist jedoch nicht höher als bei Wahlen und kann durch geeignete Verbote (z. B. der Werbung im Fernsehen und Rundfunk) begrenzt werden. Der Vergleich mit repräsentativ-demokratischen Systemen zeigt außerdem, dass in ihnen der Einfluss der Wirtschaft erheblich ist, da sie über vielfältige Kanäle auf Entscheidungen einwirken kann, z. B. über Lobbying, bezahlte wissenschaftliche Beratung, Einbindung privater Fachleute in die Ausarbeitung von Gesetzen oder Jobaussichten für Politiker nach dem Ausscheiden aus der aktiven Politik.