我目前在玩7B int8，或者13B int4不过后者慢一些

可以，推荐用LostRuins/koboldcpp，需要挑抱脸上ggml和gguf的模型下。
NV的卡选cublast(有人跑基准测试发现也是vulkan更快，如果是nv用户可以试试)，AMD(有个rocm的fork，但还是vulkan更快)和Intel选Vulkan。
然后卸载尽可能多的层数到gpu
mistral 7b和llama3 8b小模型很不错，不过大部分是英文模型。
8g的话llama2的13b也能跑，但是速度更慢，而且基本被前两个完爆了，不推荐。