node-llama-cpp

v3.0.0-beta.30
Run AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON schema on the model output on the generation level
llama llama-cpp llama.cpp bindings ai cmake cmake-js prebuilt-binaries llm and 20 more...

Readme Versions Dependencies Scripts
3.1.1 3.1.0 3.0.3 3.0.2 3.0.1 3.0.0 3.0.0-beta.47 3.0.0-beta.46 3.0.0-beta.45 2.8.16 3.0.0-beta.44 3.0.0-beta.43 3.0.0-beta.42 2.8.15 3.0.0-beta.41 3.0.0-beta.40 3.0.0-beta.39 2.8.14 2.8.13 3.0.0-beta.38 3.0.0-beta.37 3.0.0-beta.36 3.0.0-beta.35 3.0.0-beta.34 3.0.0-beta.33 2.8.12 3.0.0-beta.32 3.0.0-beta.31 3.0.0-beta.30 3.0.0-beta.29 3.0.0-beta.28 3.0.0-beta.27 3.0.0-beta.26 3.0.0-beta.25 3.0.0-beta.24 3.0.0-beta.23 2.8.11 3.0.0-beta.22 3.0.0-beta.21 3.0.0-beta.20 3.0.0-beta.19 3.0.0-beta.18 2.8.10 3.0.0-beta.17 3.0.0-beta.16 3.0.0-beta.15 2.8.9 3.0.0-beta.14 3.0.0-beta.13 3.0.0-beta.12 2.8.8 2.8.7 3.0.0-beta.11 3.0.0-beta.10 2.8.6 3.0.0-beta.9 3.0.0-beta.8 3.0.0-beta.7 3.0.0-beta.6 3.0.0-beta.5 3.0.0-beta.4 2.8.5 3.0.0-beta.3 2.8.4 3.0.0-beta.2 2.8.3 2.8.2 2.8.1 3.0.0-beta.1 2.8.0 2.7.5 2.7.4 2.7.3 2.7.2 2.7.1 2.7.0 2.6.3 2.6.2 2.6.1 2.6.0 2.5.1 2.5.0 2.4.1 2.4.0 2.3.2 2.3.1 2.3.0 2.2.0 2.1.2 2.1.1 2.1.0 2.0.0 1.3.1 1.3.0 1.2.1 1.2.0 1.1.1 1.1.0 0.0.1
npm i [email protected]

Metadata

  • MIT
  • >=18.0.0
  • Gilad S.
  • released 6/17/2024

Downloads

Maintainers