ես մտածում էի որ դէ կօգտագործեն, բայց հիմա նոր սկսեց զգուշացնել։
#աբօ
առաջին անգամ gpt4o֊ն ա պատասխանոմւ, նոյն հարցին յետոյ պատասխանում ա gpt4֊ը՝
4o֊ն տուֆտում ա։ ոնց որ չիմանայ ոչ մի բան ու իմ ասածը կրկնի։
4֊ը ասում ա որ իսկապէս, CM602 պրոցեսոր կար բուլղարական։ նման բան երբ փնտրում եմ, գտնում եմ։
meta-llama֊ին եմ ուզում հարցնել, բայց ինչ֊որ պատճառով սթարտ չի լինում։
#աբ #աբօ #պատմութիւն #6502 #CM602 #СМ6502 #CM6502 #բուլղարիա #պրաւեց #ռետրօհամակարգչութիւն
ահա, arm֊ն էլ ա օգտագործել branch prediction ու էդպէս էլ պիտի լինէր՝
https://www.youtube.com/watch?v=CjpEZ2LAazM ✓
սա շատ հետաքրքիր թութղ ա՝
https://arxiv.org/pdf/2406.08719
speculative execution֊ը բարդ լուծում ա, իսկ բարդութիւնից կարող են բխել խնդիրները։ պարտադիր չի որ բխեն, բայց մենք մարդ ենք, ու մեզ բարդ ա գործ անել բարդ համակարգերի հետ։
#մարդ_ես
ես հասկանում եմ որ մրցակցութիւնն ա ստիպում բոլոր տէք նախագծողներին բարդացնել դիզայնը, գտնել բարդ լուծումներ։ չնայած կարող ա եւ տակից դուրս չգան։
ու մրցակցութիւնը ոնց որ ստիպի իրանց լինել անպատասխանատու։ իրենք կարողանում են բարձր գնահատականներ հաւաքել տարբեր չափումներում ու թեստերում, բայց ահա հիմա ունեն բագ։ օկէյ, կը ֆիքսեն ու ուրախ կը վաճառեն մեզ նոր պրոցեսորներ։
իսկ եղած պրոցեսորի համար ֆիքսը եթէ լինի՝ ապա ծրագրային, ու կը դանդաղեցնի աշխատանքը։ ու էն ինչ շահել ենք speculative execution֊ի պատճառով, կը կոմպենսացուի ծրագրային ուղղումով։ լաւ ա եթէ աւելի դանդաղ չի աշխատի, քան առանց դրա կաշխատէր։
ու մի կողմից հա, նախագծողներն են, որ ուզում են գլխից վերեւ թռնել, ֆիզիկայի օրէնքներն անցնեն, ժամանակից առաջ ընկնեն։ իսկ նրանք որ չեն կարողացել՝ դուրս են մնում շուկայից, բիզնէսից։
միւս կողմից էդ մենք ենք, շուկան, որ չի ջոկում ինչ ա կատարւում, մանաւանդ էդ նոր ոլորտում, ու ուրախ գնում ենք էդպիսի պրոցեսորներ։
պահանջ չենք դնում որ լինեն աւելի դանդաղ, բայց աւելի պարզ դիզայնի ու յուսալի։
միւս կողմից՝ աշխարհն ա հիմա բարդացել։ ու գուցէ միայն ոլորտից չի՝ մենք առհասարակ չենք ջոկում ինչ ա կատարւում ու չենք կողմնորոշւում ինչ ա շուկան առաջարկում այս բարդ աշխարհում։
ինչն ա նաեւ սարսափելի՝ ջաւա սկրիպտ էքսփլոյթ կայ, ինչպէս եւ ինթելի նմանատիպ խնդիրների ժամանակ կար։ այսինքն՝ դիտարկչի մէջ կարող ա վնասակար կոդ աշխատել, իսկ դու չես էլ իմանայ։
ու ես տեսնում եմ որ արհեստական բանականութիւն ա օգտագործուելու որպէս quality assurance, որպէս թեստեր։ ու արդէն օգտագործւում ա։ ինչը մտահոգիչ ա, որովհետեւ ինքը կարող ա սխալուել, իսկ մենք կարող ա դա չջոկենք։
ու կարելի ա աւելի խորը գնալ ու նշել որ պետութեան կողմից ստանդարտիզացուած կրթութեան եւ թեստաւորման համակարգն ա բերում նրան որ բոլորը սովորում են մի ձեւով։ ու հիմա կը գայ արհեստական բանականութիւնը որը կը համարուի, որ աւելի լաւ ա իրան դրսեւորում, քան մարդիկ էդ նոյն ստանդարտիզացուած թեստերում։
#աբ #ապագայ #տէք #արհեստական_բանականութիւն #աբօ #մարդ #մարդիկ #երկաթ #պրոցեսոր #վրիպում #անվտանգութիւն #թեստաւորում #նախագծում #ծրագրաւորում #կրթութիւն #մրցակցութիւն #կապիտալիզմ #ազատութիւն #
ես համոզուած էի որ գրել եմ ինչպէս օգտագործել լոկալ llm։
բայց չեմ գտնում այդ գրառումը։
ահա՝
python -m venv ~/venvs/llm
. ~/venvs/llm/bin/activate
առաջին տողը ստեղծում ա փայթընի վիրտուալ միջավայր՝ ինչ էնտեղ pip֊ով տեղակայէք, կը մնայ էնտեղ, մեկուսացուած։
ամէն անգամ ապագայում այդ միջավայրը ակտիւացնելու համար պէտք ա կրկնել երկրորդ տողը։
եթէ ձեր pip֊ը աշխատում ա եւ առանց վիրտուալ միջավայրի (էդպէս, տեսել եմ մակօսներում ա, կամ հին լինուքս դիտրիբուտիւներում), ապա կարող էք սա չանել էլ։
հիմա տեղակայենք llm ծրագիրը՝
pip install llm
յետոյ
llm install llm-gpt4all
հիմա եթէ գրէք՝
llm models list
կը կարողանաք տեսնել ինչ մոդելներ կան, որոնց հետ կարող էք խօսել, էս պահին ինձ մօտ հետեւալն ա բերում՝
$ llm models list ??
OpenAI Chat: gpt-3.5-turbo (aliases: 3.5, chatgpt)
OpenAI Chat: gpt-3.5-turbo-16k (aliases: chatgpt-16k, 3.5-16k)
OpenAI Chat: gpt-4 (aliases: 4, gpt4)
OpenAI Chat: gpt-4-32k (aliases: 4-32k)
OpenAI Chat: gpt-4-1106-preview
OpenAI Chat: gpt-4-0125-preview
OpenAI Chat: gpt-4-turbo-preview (aliases: gpt-4-turbo, 4-turbo, 4t)
OpenAI Completion: gpt-3.5-turbo-instruct (aliases: 3.5-instruct, chatgpt-instruct)
gpt4all: Meta-Llama-3-8B-Instruct - Llama 3 Instruct, 4.34GB download, needs 8GB RAM (installed)
gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: all-MiniLM-L6-v2 - SBert, 43.82MB download, needs 1GB RAM
gpt4all: nomic-embed-text-v1 - Nomic Embed Text v1, 261.58MB download, needs 1GB RAM
gpt4all: nomic-embed-text-v1 - Nomic Embed Text v1.5, 261.58MB download, needs 1GB RAM
gpt4all: replit-code-v1_5-3b-newbpe-q4_0 - Replit, 1.82GB download, needs 4GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: Phi-3-mini-4k-instruct - Phi-3 Mini Instruct, 2.03GB download, needs 4GB RAM
gpt4all: mpt-7b-chat - MPT Chat, 3.54GB download, needs 8GB RAM
gpt4all: orca-2-7b - Orca 2 (Medium), 3.56GB download, needs 8GB RAM
gpt4all: rift-coder-v0-7b-q4_0 - Rift coder, 3.56GB download, needs 8GB RAM
gpt4all: mpt-7b-chat-newbpe-q4_0 - MPT Chat, 3.64GB download, needs 8GB RAM
gpt4all: em_german_mistral_v01 - EM German Mistral, 3.83GB download, needs 8GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
gpt4all: ghost-7b-v0 - Ghost 7B v0.9.1, 3.83GB download, needs 8GB RAM
gpt4all: Nous-Hermes-2-Mistral-7B-DPO - Nous Hermes 2 Mistral DPO, 3.83GB download, needs 8GB RAM
gpt4all: mistral-7b-openorca - Mistral OpenOrca, 3.83GB download, needs 8GB RAM
gpt4all: gpt4all-falcon-newbpe-q4_0 - GPT4All Falcon, 3.92GB download, needs 8GB RAM
gpt4all: gpt4all-13b-snoozy-q4_0 - Snoozy, 6.86GB download, needs 16GB RAM
gpt4all: wizardlm-13b-v1 - Wizard v1.2, 6.86GB download, needs 16GB RAM
gpt4all: orca-2-13b - Orca 2 (Full), 6.86GB download, needs 16GB RAM
gpt4all: nous-hermes-llama2-13b - Hermes, 6.86GB download, needs 16GB RAM
gpt4all: starcoder-newbpe-q4_0 - Starcoder, 8.37GB download, needs 4GB RAM
հիմա, եթէ մի հատ հարց ես ուզում տալ, ու մի պատասխանով բաւարարուելու ես, ապա՝
llm -m Meta-Llama-3-8B-Instruct
ինքը կը քաշի էս մէկը (չորս գբ ա զբաղեցնում) ~/.cache/gpt4all ֊ի մէջ։
$ ls ~/.cache/gpt4all/ -lh
total 4.4G
-rw-r--r-- 1 inky inky 4.4G Ապր 27 07:08 Meta-Llama-3-8B-Instruct.Q4_0.gguf
ու դրանից յետոյ կը կարողանաս խօսել իր հետ։
այլապէս, կարող ես պահել այն յիշողութեան մէջ ու նոյն թեմայի մասին էլի խօսել՝
llm chat -m Meta-Llama-3-8B-Instruct
կարող ես իհարկէ նշել այլ մոդել։
աւելի «հեշտ» ձեւն ա՝ lm studio օգտագործելը։ համոզուած չեմ որ ազատ ա։ ես էսպէս եմ անում։
նաեւ, էս ամէն մոդելն ունի իր սպեցիֆիկ օպցիաները։
$ llm models list --options
OpenAI Chat: gpt-3.5-turbo (aliases: 3.5, chatgpt)
temperature: float
What sampling temperature to use, between 0 and 2. Higher values like
0.8 will make the output more random, while lower values like 0.2 will
make it more focused and deterministic.
max_tokens: int
Maximum number of tokens to generate.
top_p: float
An alternative to sampling with temperature, called nucleus sampling,
where the model considers the results of the tokens with top_p
probability mass. So 0.1 means only the tokens comprising the top 10%
probability mass are considered. Recommended to use top_p or
temperature but not both.
frequency_penalty: float
Number between -2.0 and 2.0. Positive values penalize new tokens based
on their existing frequency in the text so far, decreasing the model's
likelihood to repeat the same line verbatim.
presence_penalty: float
Number between -2.0 and 2.0. Positive values penalize new tokens based
on whether they appear in the text so far, increasing the model's likelihood to talk about new topics.
stop: str
A string where the API will stop generating further tokens.
logit_bias: dict, str
Modify the likelihood of specified tokens appearing in the completion.
Pass a JSON string like '{"1712":-100, "892":-100, "1489":-100}'
seed: int
Integer seed to attempt to sample deterministically
json_object: boolean
Output a valid JSON object {...}. Prompt must mention JSON.
OpenAI Chat: gpt-3.5-turbo-16k (aliases: chatgpt-16k, 3.5-16k)
temperature: float
max_tokens: int
top_p: float
frequency_penalty: float
presence_penalty: float
stop: str
logit_bias: dict, str
seed: int
json_object: boolean
OpenAI Chat: gpt-4 (aliases: 4, gpt4)
temperature: float
max_tokens: int
top_p: float
frequency_penalty: float
presence_penalty: float
stop: str
logit_bias: dict, str
seed: int
json_object: boolean
OpenAI Chat: gpt-4-32k (aliases: 4-32k)
temperature: float
max_tokens: int
top_p: float
frequency_penalty: float
presence_penalty: float
stop: str
logit_bias: dict, str
seed: int
json_object: boolean
եւ այլն։
մեր դէպքում՝
gpt4all: Meta-Llama-3-8B-Instruct - Llama 3 Instruct, 4.34GB download, needs 8GB RAM (installed)
max_tokens: int
The maximum number of tokens to generate.
temp: float
The model temperature. Larger values increase creativity but decrease
factuality.
top_k: int
Randomly sample from the top_k most likely tokens at each generation
step. Set this to 1 for greedy decoding.
top_p: float
Randomly sample at each generation step from the top most likely
tokens whose probabilities add up to top_p.
repeat_penalty: float
Penalize the model for repetition. Higher values result in less
repetition.
repeat_last_n: int
How far in the models generation history to apply the repeat penalty.
n_batch: int
Number of prompt tokens processed in parallel. Larger values decrease
latency but increase resource requirements.
հիմա կարելի ա կանչել էսպէս՝
$ llm chat -m Meta-Llama-3-8B-Instruct --option max_tokens 5
Chatting with Meta-Llama-3-8B-Instruct
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> i just ran you with --option max_tokens 5 and i would like to understand if it work.
I see that you're
>
ահա, աշխատում ա։
ու տէնց
#աբօ #աբ #արհեստական_բանականութիւն
հարնում եմ ջպտ֊ին՝
թռչուն որի անունը խատուտիկի պէս մի բան ա, խատտի՞կ, խածտտի՞կ։
ասում ա՝
Բառարանականության համապատասխան, “խատուտիկ” բառը համապատասխանում է թռչունի մոտակայքի բանականությանը, այնպես որ, դա հետևում է թռչունների ձեռքին պատկանող պատկերացուցիչների դիմանկարներին։ Այսպիսով, թռչունը “խատուտիկ” է։
նոյն հարցը կլաւդին՝
Կարծում եմ, դուք նկատի ունեք «խաչաչուկ» թռչունը: Այն փոքրիկ, կանաչավուն թիթեռնիկի նման թռչուն է, որը հազվադեպ է հանդիպում քաղաքային վայրերում: Խաչաչուկի մյուս տարածված անունն է «տատրակ» կամ «տատրիկ»: Այն իր անունը ստացել է բնորոշ կանչի համար, որը նման է «տատ-տատ-տատ» բառերի արտասանությանը: Խաչաչուկները փոքրիկ թմրամիս թռչուններ են, որոնք սովորաբար ապրում են անտառներում, թփուտներում և այգիներում: Նրանք կերնվում են միջատներով, պղպջակներով և մրջյուններով: Այսպիսով, դուք ճիշտ էիք արտասանելիս «խատուտիկ» կամ «խածտտիկ» տարբերակները, քանի որ դրանք շփոթ են ստեղծում «խաչաչուկ» թռչունի անվան հետ:
իրականում խաղտտնիկն էր։
#խաղտտնիկ #աբ #աբօ
աբօյի (արհեստական բանականութեան, այսուհետ՝ աբօյի) հետ եմ խօսում։
#աբ #աբօ #արհեստական_բանականութիւն