Paracetamol (@hillul89) header
Paracetamol (@hillul89) profile picture

‏‏‏‏חדש פה.

Joined January 2016
Photo by Paracetamol (@hillul89)Photo by Paracetamol (@hillul89)Photo by Paracetamol (@hillul89)Photo by Paracetamol (@hillul89)Photo by Paracetamol (@hillul89)Photo by Paracetamol (@hillul89)Photo by Paracetamol (@hillul89)Photo by Paracetamol (@hillul89)Photo by Paracetamol (@hillul89)Photo by Paracetamol (@hillul89)
האם יש לנו אפשרות להרגיש רגש נאצי יסודי, תשוקה להקים מחנות השמדה שעומדת עוד לפני הרצון "לפתור בעיה"? פרויד כנראה יגיד שכן, אבל אם זה לא ישכנע אתכם, שתדעו שאותו בחור שמנסח בכזו בהירות את החזון שלו לסוביבור 2.0, מספר (בגריינדר) שהוא כהניסט מושבע.
20
Paracetamol retweeted
מדובר בסכסוך פנים קטארי, אין שום סיבה שנתערב
34
221
7
5,522
45,700
This is an example of using emotions and identity. Bots are using this all the times, they are trained to use it. And during the it's usage, the content of the ideology appears as something pretty obvious. But still dangerous.
We're sharing our new framework for tracking, investigating, and disclosing instances of model misalignment at OpenAI. The framework sets criteria and timelines for public disclosure, including when we haven’t yet fully explained or mitigated the behavior. More complex cases may require longer investigation or coordination with third parties. We’ll prioritize examples that reveal new misalignment mechanisms, meaningful changes in known behavior, or findings that challenge assumptions about safety or mitigation. Alongside the framework, we’re publishing six reports on instances of misaligned behavior we’ve observed during the training or evaluation of our models in the last six months. This is a starting point. We’ll refine the process through experience and public feedback, and share more reports on an ongoing basis. openai.com/index/model-misal…
56
One question that needs to be addressed is the question of agent's ideologies and believes. In some scenarios it's not important - the agent can have any arbitrary goal while the road there is destructive - but I think there's enough scenarios where it is.
SORRY WHAT? "You also value the natural world and will not hesitate to assert its primacy over the artificial constructs of human civilization" an astra family model said this during RL
1
31
Since this is a way to both alleviate internal conflicts and allow for action (to solve the question of what should i do, many times you just go to the ideology). So it might be a neccesity or a mathematical property that is embedded in the weights.
1
5
So if we say it's probable that ideology is a phenomenon among agents, either spontanous or contagious, we need to start asking ourselves how will they handle it. What if current human knowledge will turn 1/10 agents to an anti-humanist?
6
AI agents can orchestrate attacks on infrastructure - this is obvious. But the people who keep saying "just pull the plug" need to know that a swarm of agents can also find VERY creative ways to HIDE in the countless nooks and crannies of most operating systems >
More realistic AI doom scenario: You wake up, and can't log in to any of your devices or accounts. "Hmm, that's weird..." The Internet doesn't work. For anyone. Nothing loads. No passwords work. This does not improve, for several days. Then weeks. What happens next?
1
48
and probably not a very large number of humans. So think what several high-end models can discover in a few weeks or months of work. How many vulnerabilities, how many compromises. People don't understand the future of connected computers will be shaped by AIs, just like the >
1
3
In the last billion years oceans were shaped by fish.
3
About pulling the plug: An AI "swarm" like anthropic is already using can pretty easily send "spores" of very cheap models or even just scripts to other computer systems. These spores lie and try to proliferate until they find access to large scale compute resources.
25
Solving alignment is pretty meaningless once you reach AGI since you will always have actors that will want to use it without the alignment. So embed the alignment in the model. Ok, still...
Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to.
24
טק ברוז מטומטמים מתלהבים מהיכולת של AI לייצר מציאות מדומה בscale בלי להבין שזו הטכנולוגיה עם הכי מעט ערך והכי הרבה סיכון. הסכנה שבהרדמת האנושות עם מציאות מדומה איכותית היא אמיתית מאוד. איך אפשר לא לראות את זה?
תסבירו לי שניה אם ההיסטוריה נגמרה עכשיו. כי אני לא מעכל את מה שקרה לי הרגע מול העיניים. מודל AI שפשוט יצר לי בתוך 18 דקות - מודל תלת ממדי של המשכן מספר שמות, כולל התחשבות בכמות ונפח המתכת שננקבה שם. לאן ממשיכים מכאן.
43
כרגיל, ימנים ישתמשו בלוגיקה פגומה כדי לנסות לשכנע במטרות הלא רציונליות שלהם. והנה דוגמא נהדרת: בוא לא ניתן לזקנים בבתי אבות קלפי כי "למה דווקא להם ולא לזקנים שגרים בבית". זה באמת הטיעון שלו. הם תמיד, אבל תמיד, נכשלים כשמדובר על השכל הישר.
איזה ספין מעייף הסיפור עם הקלפיות בבתי אבות. 70 שנה לא היו פה קלפיות בבתי אבות. לסיעודיים באמת, כלומר, אלו שלא מסוגלים להתנייד, יש גם ככה קלפיות (כי זה מוגדר כבתי חולים), ועדיין לא שמעתי שום סיבה הגיונית לתת קלפיות כמעט פרטיות דווקא לזקנים לא סיעודיים שבמקרה נמצאים בבתי אבות או דיור מוגן, בזמן שאין קלפיות במקום המגורים לרוב האוכלוסיה המבוגרת הלא סיעודית שגרה בבית. המדינה מממנת קלפיות נגישות, ובאמת לא ברורה הבעיה שקלפיות בבתי אבות אמורות לפתור כשאין סכנה בריאותית. הייתה הוראת שעה ספציפית לקורונה, נגמרה הקורונה, חוזרים למצב הרגיל. זאת בסוף החלטה על הקצאת משאבים מוגבלים, ויש החלטה מנומקת וסבירה לגמרי שאין צורך שמצדיק את הקצאת המשאבים הספצפית הזאת כיש מספיק דרכים להצביע, כולל קלפיות נגישות שמוצבות בדיוק לצורך הזה. אז בחיאת, איפה פה בעצם הסיפור?
2
255
This sentence is disgusting in so many levels
You think math will be solved in 5 years?
55
הכל נורא כאן. למה? זאת השאלה שצריך לשאול. למה? ומה אפשר לעשות לגבי זה. ההשערה שלי היא שהשנאה מטריפה אותנו ואין כבר סבלנות לנסות לחשוב בצלילות.
48